摘要：多模态大模型（MLLM）在高层次视觉理解与推理任务上展现出惊艳能力。然而，如果你仔细观察，就会发现一个的事实：它们在一些看似简单、直观、人类幼儿都能轻松完成的任务中，却频频「翻车」。

多模态大模型（MLLM）在高层次视觉理解与推理任务上展现出惊艳能力。然而，如果你仔细观察，就会发现一个的事实：它们在一些看似简单、直观、人类幼儿都能轻松完成的任务中，却频频「翻车」。

比如，「一个玩具被遮住后还在吗？」、「液体倒入不同形状容器后，体积变了吗？」、「两个物体靠近会发生碰撞吗？」

这是否意味着 MLLM 的先天认知结构中，缺少那些支撑早期人类学习的基础知识机制？也就是说，它们是否缺乏「core knowledge」（核心认知能力）？

ICML 2025 高分论文（initial score 4443），揭示了 MLLM 的「核心认知盲区」。

来自 UC San Diego 的新研究《Core Knowledge Deficits in Multi - Modal Language Models》（发表于 ICML 2025）对这一问题进行了系统、深入的分析。

论文标题：Core Knowledge Deficits in Multi - Modal Language Models

研究发现：目前主流 MLLM 广泛缺乏核心认知能力，且该能力不能通过模型规模扩展自然习得。

为此，作者构建了一个创新性的多模态测评体系 CoreCognition，并提出一种独特的 「干预测试」 方法 Concept Hacking，旨在揭示模型是否真的 「理解」 任务背后的核心知识，还是只是 「蒙对了答案」。

「核心知识」概念来自发展心理学，尤其是皮亚杰（Piaget）关于人类认知发展的经典理论。研究指出，人类在婴儿期就已经具备一些对世界最基本、最普遍的认知能力，构成我们理解物体、空间、因果、意图等的基础。

研究团队受皮亚杰认知发展理论启发，提出 CoreCognition：一个规模庞大、聚焦「核心知识」的多模态测评体系。其亮点在于：

覆盖全面：12 项核心认知概念覆盖了从 感知运动期（如边界感、连续性、物体恒存、空间知觉、知觉恒常性、直觉物理）到 混合期（如视角理解、层级关系、守恒理解）再到 形式运算期（如意图识别、机械推理、工具使用）三个阶段。这种分层设计帮助深入剖析模型在不同认知层级上的表现差异。

数据丰富，测试广泛：数据集共包含 1503 个图像 - 问题对，并通过 230 款主流多模态模型 × 11 种 prompt 设计，生成 2530 个评估数据点，有效覆盖不同模型规模与指令理解能力。

设计严谨：

判别性强（Discriminativeness）：每一道题目都经过精心设计，使得缺乏目标核心知识的模型必然倾向于选择错误答案，从而有效区分模型能力。

混淆最小（Minimal Confounding）：问题尽量避免对目标概念以外能力产生依赖，减少与其他核心知识的概念交叉。

无文本捷径（Minimal Text Shortcut）：所有问题均设计为必须结合图像和语言信息进行多模态推理，防止模型仅通过语言模式识别猜出正确答案。

质量把控严格：所有数据由 12 位具备认知科学、计算机科学或统计学背景的高年级本科或研究生协作完成标注与审核，确保标注质量的一致性与学术严谨性。

数据集设计既参考发展心理学与认知科学，又贴近 AI 实验范式，兼顾理论可靠性与工程可行性，是首次正式将「核心知识」搬进大模型测试框架。

1. 模型在基础认知任务中存在明显不足：大模型缺乏基础认知，尤其是最简单的认知能力，在诸如边界感、持续性、空间性等简单、直观的任务中，模型性能远低于对更复杂事物（如层级推理、意图理解等）的理解能力。这些本应是「常识」的内容，模型却无法掌握，说明其缺乏对世界基本结构的理解。

2. 模型无法有效利用基础认知支撑高级能力：模型在高层认知上的表现，不一定与低层认知水平直接挂钩。说明模型并未形成稳固的认知体系，模型的高级推理感知并不是建立在基础的认知能力上的。这也能解释为什么模型出现鲁棒性缺陷（即不能持续稳定的正确回答问题）。

3. 增加模型规模并不能显著提升基础认知能力：研究显示模型的基础认知能力无法通过简单扩展规模获得显著提升。尽管模型参数量提升带来了高级推理能力的提升，但对低级认知帮助较小，甚至某些基础能力会出现规模越大越差的反常现象。

4. Reasoning model 并没有表现出明显优势：System - 2 reasoning 也不能有效帮忙模型学习或者推理基础认知能力，这说明模型可能在 pretrain 阶段就缺乏基础认知能力。

为了进一步验证模型是否真的掌握核心概念，作者提出了 Concept Hacking（概念干预） 方法：通过构造「对照组」（control）与「干预组」（manipulated），故意在测试图文中反转关键特征，但保持其余条件一致。从而区分「真正理解」与「投机取巧」：

若在正常与反转任务中均表现良好，说明模型具备真实的认知能力。

若仅在正常任务表现好，但反转任务失败，说明模型在依赖虚假的认知捷径。

若在正常任务表现差，则表明模型既没有掌握核心知识，也没有建立认知捷径。

实验证明，很多模型在正常图文任务中表现良好，但一旦关键特征被微调，预测结果大幅崩溃，说明其并非真正理解「核心概念」，而是更加依赖浅显易得的捷径学习。

来源：寂寞的咖啡