摘要：这篇研究论文由上海人工智能实验室的刘诗和苏维杰领衔，联合清华大学的朱熙洲、戴纪峰以及香港中文大学的王文海共同完成，发表于2025年6月6日的第42届国际机器学习大会（ICML）。有兴趣深入了解技术细节的读者可以通过论文编号arXiv:2506.06279v1访

当今的大型视觉语言模型就像一个既能看又能说的聪明助手，它们继承了语言模型的强大能力，可以同时处理图片和文字。然而，这些模型在实际应用中遇到了一个令人困扰的问题，就像人在阅读一本很厚的书时，往往会忘记前面章节看过的图片内容一样。

研究团队通过深入分析发现，现有的视觉语言模型存在两个核心问题。第一个问题可以比作"注意力分配不均"的现象。当模型处理包含多张图片和大量文字的长文档时，它的注意力会呈现一种"两极分化"的趋势，就像一个人在看电影时只专注于开头和结尾，而忽略了中间的重要情节。具体来说，模型倾向于重点关注序列开头和结尾的内容，而对中间部分的视觉信息逐渐失去关注，这种现象被称为"迷失在中间"。

第二个问题涉及位置编码机制的缺陷。传统的位置编码方案在处理高分辨率图像时，无法有效保持图片的二维空间关系。这就好比把一幅完整的拼图打散成一条直线排列，虽然每个拼图块都还在，但它们之间的空间位置关系却丢失了。当处理动态高分辨率图像时，这种问题变得更加严重，因为图像块之间的距离被人为拉长，导致模型难以理解图片的整体结构。

一、双路径架构：为AI模型增设"视觉记忆"通道

为了解决这些问题，研究团队提出了一个名为CoMemo的创新架构。这个名字来源于"Context"（上下文）和"Memory"（记忆）的组合，寓意着为AI模型同时提供上下文理解和视觉记忆能力。

CoMemo的核心创新在于构建了一个双路径处理系统，可以想象成给AI模型安装了两套互补的"眼睛"。第一套"眼睛"被称为"上下文路径"，它负责将图像信息与文字信息混合在一起进行连续处理，就像我们平时阅读图文并茂的文章时，大脑会自然地将文字和图片整合理解。这条路径保持了传统方法的优势，能够很好地处理文字和图片之间的交互关系。

第二套"眼睛"则被称为"记忆路径"，这是CoMemo的独特创新。记忆路径专门负责维护图像信息的完整性，不受文本长度或上下文复杂性的影响。这条路径通过交叉注意力机制工作，能够根据当前的文本内容主动检索相关的图像信息。这就像给大脑装了一个专门的"图像记忆库"，无论文档有多长，模型都能随时调取需要的视觉信息。

这种双路径设计的巧妙之处在于两条路径的分工协作。上下文路径确保模型能够理解文字和图片的整体关系，而记忆路径则确保重要的视觉细节不会因为上下文过长而被遗忘。这种设计有效地解决了传统模型在长文档处理中的"视觉遗忘"问题。

然而，简单地将两套系统组合并不能直接获得理想效果。研究团队发现，如何平衡这两条路径的影响力是一个关键挑战。如果记忆路径过于强势，模型可能会过度依赖视觉信息而忽略文本内容；如果上下文路径占主导，则又回到了原来视觉信息容易丢失的问题。

为了解决这个平衡问题，研究团队设计了一套精巧的训练策略。他们引入了门控机制来控制两条路径的影响程度，并开发了三阶段的训练方法。在第一阶段，两条路径同时学习如何处理视觉和文本信息；在第二阶段，系统会冻结门控参数，防止模型过度依赖某一条路径；在第三阶段，系统进行全面的指令调优，确保最终的模型能够在各种任务中表现出色。

二、RoPE-DHR：为高分辨率图像重新设计"坐标系统"

除了双路径架构，研究团队还针对位置编码问题提出了一个名为RoPE-DHR的创新解决方案。这个技术的核心思想是为动态高分辨率图像设计一套更加智能的"坐标系统"。

传统的位置编码方法就像给每个图像块贴上一个递增的序号标签，比如1、2、3、4...这样排列下去。虽然这种方法简单直接，但它完全忽略了图像块之间的二维空间关系。当图像分辨率很高时，图像块的数量会急剧增加，导致相邻块之间的"序号距离"变得很大，模型难以理解它们在空间上其实是相邻的。

RoPE-DHR采用了一种分层的位置编码策略。系统首先会为整张图片生成一个缩略图，这个缩略图就像一张"地图"，标记了图片的整体结构。然后，系统将高分辨率图片划分成多个图像块，每个图像块都会根据它在缩略图中的对应位置获得一个"空间坐标"。

这种方法的巧妙之处在于建立了图像块与缩略图之间的几何对应关系。每个高分辨率图像块不再获得一个独立的序号，而是继承了它在缩略图中对应位置的坐标信息。这样，即使图像被分割成成百上千个小块，模型仍然能够理解它们在二维空间中的真实位置关系。

通过这种设计，RoPE-DHR有效解决了两个关键问题。首先是"长距离衰减"问题，即传统方法中相距较远的图像块之间关系强度会急剧衰减的现象。其次是"维度坍塌"问题，即二维图像信息被强制压缩成一维序列时丢失空间结构的问题。

研究团队通过数学分析证明了RoPE-DHR的有效性。他们发现，这种方法不仅能够压缩位置编码的长度，减少计算复杂度，还能够更好地保持图像的二维几何信息，使模型在处理高分辨率图像时表现更加出色。

三、平衡艺术：如何协调两套"视觉系统"

CoMemo架构的成功关键在于如何让两条处理路径和谐共存，而不是相互干扰。研究团队通过大量实验发现了几个重要的平衡原则。

首先是资源分配的平衡。研究团队尝试了三种不同的策略：将高分辨率信息只分配给上下文路径、只分配给记忆路径，或者同时分配给两条路径。实验结果显示，单一路径的分配策略会导致模型过度依赖某一种处理方式，而双路径同时分配的策略能够产生更加稳定和均衡的效果。

其次是训练时长的平衡。研究团队发现，预训练阶段的步数对两条路径的平衡具有决定性影响。训练不足会导致投影器学习不充分，而过度训练则会让模型过度依赖记忆路径。通过门控机制的平均值分析，研究团队确定了最佳的训练时长配置。

第三是参数更新策略的平衡。在预训练阶段，只有记忆分支和投影器的参数可以更新，而语言模型的主体参数保持冻结。这种策略确保了新增的视觉记忆功能不会破坏原有语言模型的能力。在第二阶段，系统会冻结门控参数，防止模型形成过度依赖；在最后的微调阶段，所有参数都可以更新，让模型在指令跟随任务上达到最佳性能。

研究团队还设计了精巧的交叉注意力机制来增强两条路径之间的协调。与传统的单向注意力不同，CoMemo的交叉注意力是双向的：查询位置对应输入序列中的标记顺序，而键位置则对应视觉标记在输入序列中的位置。这种设计建立了文本和图像之间的双向位置感知，使模型能够更好地理解多模态信息的空间关系。

记忆混合策略是另一个关键创新。研究团队以1:4的比例在标准变换器块之间插入记忆层，每个记忆层都执行门控交叉注意力和自适应前馈计算。这种设计既保持了原有模型的计算效率，又增强了视觉信息的处理能力。

四、全面验证：七大任务类别的性能表现

为了全面评估CoMemo的性能，研究团队设计了一个涵盖七个主要任务类别的评估体系。这些任务就像给AI模型安排的一系列"考试"，每个考试都测试模型在不同场景下的能力。

在图像描述生成任务中，CoMemo展现出了显著的优势。研究团队使用COCO、Flickr30k和NoCaps等标准数据集进行测试，发现CoMemo在生成简洁准确的图像描述方面比传统架构提升了17.2%。这种提升主要得益于记忆路径能够持续关注图像的视觉细节，即使在生成较长描述时也不会遗忘重要的视觉信息。

长文本生成任务进一步验证了CoMemo的长上下文处理能力。在LLaVABench和MMDU等复杂任务中，CoMemo取得了7.0%的相对提升。特别是在MMDU任务中，该任务包含平均6400个文本标记和2到20张图像，CoMemo能够在如此复杂的多模态长文档中保持对所有视觉信息的准确理解和引用。

多图像推理任务测试了模型处理多张相关图像的能力。在BLINK、Mantis和MMT等数据集上，CoMemo都表现出了优异的性能。这些任务要求模型不仅要理解单张图像，还要分析多张图像之间的关系和差异。CoMemo的双路径架构确保了每张图像的信息都能被完整保留，从而支持复杂的跨图像推理。

长上下文理解任务可能是最能体现CoMemo优势的测试项目。在MM-NIAH（多模态信息检索）测试中，模型需要在包含大量文本和图像的长文档中准确找到特定的信息。CoMemo在这类任务上获得了5.6%的相对提升，证明了其在长上下文场景下的信息保持能力。

数学推理任务测试了模型处理包含图表和几何图形的数学问题的能力。MathVista和MathVision数据集要求模型不仅要理解数学概念，还要准确解读图表中的数值信息。CoMemo在这些任务上的表现证明了RoPE-DHR位置编码的有效性，特别是在处理需要精确空间理解的几何问题时。

通用视觉问答任务包括MMBench、MME和MMVP等基准测试，这些任务覆盖了从基础视觉理解到复杂推理的各个层面。CoMemo在这些任务上保持了与传统方法相当的性能，证明了新架构没有牺牲基础能力来换取长上下文性能的提升。

OCR相关任务测试了模型在文字识别和理解方面的能力，包括AI2D、ChartQA和TextVQA等数据集。虽然这些任务主要依赖高分辨率图像处理，CoMemo仍然展现出了竞争力的性能，说明RoPE-DHR在保持二维空间信息方面的有效性。

五、技术深度：解决"迷失在中间"现象的原理

研究团队对"迷失在中间"现象进行了深入的理论分析，揭示了这一问题的根本原因和CoMemo的解决原理。

通过对模型注意力模式的可视化分析，研究团队发现传统的因果自注意力机制天然地呈现出双峰分布特征。模型在处理序列时，会将大部分注意力分配给序列的开头和结尾位置，而中间位置获得的注意力相对较少。这种现象源于语言模型的下一个词预测训练范式，模型在预测当前词时主要依赖相邻的上下文和序列开头的"注意力汇聚点"。

研究团队通过分析1000个样本的梯度分布和注意力权重发现，当前预测标记的梯度主要反向传播到相邻标记，这导致模型在推理时倾向于关注邻近标记和作为"注意力释放点"的初始标记。随着上下文长度的增加，这种双峰分布变得更加明显，中间部分的视觉信息更容易被忽视。

CoMemo的记忆路径通过交叉注意力机制巧妙地绕过了这个问题。在交叉注意力中，查询来自文本序列，而键值对来自专门的视觉记忆，这种设计避免了因果自注意力的双峰分布特征。无论文本序列有多长，记忆路径都能根据当前的查询内容主动检索相关的视觉信息，确保重要的视觉细节不会因为位置偏差而被忽略。

动态高分辨率处理进一步加剧了远程衰减问题。当启用动态高分辨率时，单张图像的标记数量从256个增加到1792个，七倍的增长显著降低了图像标记在生成过程中的影响力。RoPE-DHR通过压缩位置编码空间有效缓解了这个问题，将高分辨率图像块的位置信息映射到缩略图的对应位置，大大减少了位置编码的稀疏性。

六、实现细节与性能优化

CoMemo的实际实现涉及多个精心设计的技术细节，这些细节共同确保了系统的高效性和稳定性。

在架构设计方面，CoMemo采用了正交化的设计原则，确保新增的记忆功能与现有的LLaVA系列模型完全兼容。记忆层以1:4的比例插入到标准变换器层之间，每个记忆层包含门控交叉注意力和自适应前馈网络两个主要组件。门控机制使用tanh激活函数来调节视觉信息的影响强度，确保系统能够根据具体任务需求动态调整两条路径的贡献。

在自回归解码过程中，CoMemo只需要在当前解码标记和缓存的视觉记忆状态之间进行单步计算，避免了键值缓存大小随序列长度增长的问题。这种设计大大提高了长序列处理的效率，使模型能够在保持性能的同时处理更长的上下文。

位置感知交叉注意力是另一个重要的实现细节。与传统的LVLM-X模型通常对图像块标记使用绝对位置编码不同，CoMemo在跨模态注意力中实现了RoPE，建立了双向位置感知。查询位置对应输入序列标记的顺序，键位置与输入序列中的视觉标记索引对齐，注意力掩码采用双向可见性约束。

训练策略的设计考虑了多个实际约束。在预训练阶段，由于只有记忆分支和投影器参数可训练，投影器的有限功能（仅将图像表示映射到文本空间）提供的视觉理解增益相对有限。因此，长时间的预训练会自然地强化对交叉注意力分支的依赖。为了避免这种过度依赖，研究团队在第二阶段冻结了相应的门控参数，在保持表示对齐学习的同时防止模型形成单一路径偏好。

七、广泛的消融实验与深入分析

研究团队进行了详尽的消融实验来验证每个组件的有效性和设计选择的合理性。这些实验就像医学研究中的对照试验，通过系统地移除或修改特定组件来观察其对整体性能的影响。

在组件有效性验证方面，研究团队测试了五种不同的配置。首先是去除所有新增组件的基线版本，然后分别测试只添加RoPE-DHR、只添加记忆路径、添加无压缩版本的RoPE-DHR配合记忆路径，以及完整的CoMemo系统。结果显示，每个组件都对性能有正面贡献，而完整系统的表现最优。

特别值得注意的是RoPE-DHR压缩效果的验证。研究团队对比了压缩版本和非压缩版本的RoPE-DHR，发现压缩版本在长生成和长上下文任务上表现更好，而非压缩版本在需要精细图像细节的OCR任务上略有优势。这个结果证实了位置编码压缩确实有助于缓解远程衰减问题，但可能会在一定程度上影响对精细视觉特征的感知。

模型规模扩展性实验证实了CoMemo遵循标准的扩展定律。研究团队使用InternLM-7B作为语言模型进行8B规模的实验，发现CoMemo在所有任务维度上都保持了相对于LVLM-S架构的优势。随着语言模型规模的增长，压缩位置编码对OCR任务的影响变得更加明显，但整体的性能优势依然显著。

数据集一致性验证确保了CoMemo的优势不依赖于特定的训练数据。研究团队使用开源的InternVL-1.2数据集进行了额外的实验，结果显示即使在不同的数据集设置下，CoMemo仍然在各个任务维度上优于传统架构。

训练效率和推理速度的分析表明，CoMemo的计算开销是可控的。虽然双路径设计会带来一定的额外计算成本，但这种成本相对于性能提升来说是值得的。在训练阶段，CoMemo的样本吞吐量约为传统方法的78%，而在推理阶段，延迟增加约20%。考虑到在多个任务上的显著性能提升，这种计算成本是合理的。

八、实际应用前景与技术意义

CoMemo的技术突破为多模态AI系统的实际应用开辟了新的可能性。在文档理解领域，这项技术能够处理包含大量图表、图片和文字的复杂文档，如学术论文、技术报告或医学影像报告。传统模型在处理这类文档时往往会遗忘前面的视觉信息，而CoMemo能够在整个分析过程中保持对所有视觉元素的准确记忆。

在教育技术方面，CoMemo为开发更智能的学习辅助系统提供了技术基础。例如，在处理包含多个图表和示例的数学教材时，系统能够准确地引用和解释每个图表，为学生提供更全面和准确的解答。这种能力对于开发高质量的AI家教系统具有重要价值。

医疗影像分析是另一个重要的应用领域。医生在阅读复杂的医学报告时，经常需要对比多张影像图片并结合详细的文字描述。CoMemo的长上下文视觉记忆能力使AI系统能够更好地辅助医生进行诊断，特别是在需要综合分析多个时间点的影像数据时。

在内容创作和媒体制作领域，CoMemo能够处理包含多个场景、角色和视觉元素的复杂创作项目。无论是编写图文并茂的新闻报道，还是制作包含多个图表的商业报告，这项技术都能确保AI助手准确理解和引用所有的视觉内容。

从技术发展的角度来看，CoMemo代表了多模态AI系统架构设计的一个重要进步。它证明了通过巧妙的架构创新，可以在不大幅增加计算成本的前提下显著提升模型的长上下文处理能力。这种设计思路为未来的多模态模型开发提供了有价值的参考。

特别是RoPE-DHR位置编码方案的提出，为处理高分辨率图像提供了一种更加优雅的解决方案。这种方法不仅适用于当前的视觉语言模型，也可以扩展到其他需要处理二维空间信息的AI系统中。

九、技术局限性与未来发展方向

尽管CoMemo在多个方面取得了显著进步，但研究团队也诚实地指出了当前技术的一些局限性和改进空间。

首先是计算效率方面的挑战。虽然双路径设计带来了性能提升，但也不可避免地增加了计算开销。在需要实时处理的应用场景中，这种额外的计算成本可能成为限制因素。未来的研究需要探索更加高效的实现方式，或者开发自适应的计算策略，根据任务复杂度动态调整系统资源分配。

其次是位置编码压缩对精细视觉任务的影响。实验结果显示，RoPE-DHR的压缩特性虽然有效缓解了远程衰减问题，但在某些需要极高视觉精度的任务（如复杂OCR识别）中可能会带来轻微的性能损失。这提示未来的研究需要开发更加精细的位置编码策略，能够根据任务特点自适应地选择压缩程度。

模型规模扩展带来的新挑战也值得关注。随着语言模型参数规模的不断增长，如何保持双路径系统的平衡成为一个更加复杂的问题。大型模型的训练成本和推理成本都会显著增加，需要更加精心的系统优化和资源管理策略。

在数据需求方面，CoMemo的训练需要大量高质量的多模态数据，特别是包含长上下文和多图像的复杂样本。这类数据的收集和标注成本较高，可能限制技术的普及和应用。未来需要探索更加高效的数据利用方法，如少样本学习或无监督预训练策略。

跨语言和跨文化的适应性也是一个重要的研究方向。当前的实验主要基于英文和中文数据，对于其他语言特别是资源较少的语言，系统的表现还需要进一步验证和优化。

从更长远的角度来看，CoMemo开启了多模态AI系统架构创新的新思路。未来可能的发展方向包括：多路径架构的进一步扩展，例如为不同类型的视觉信息（如静态图像、动态视频、三维场景）设计专门的处理路径；更加智能的注意力机制，能够根据任务需求动态分配计算资源；以及与其他AI技术的深度融合，如强化学习和因果推理。

说到底，CoMemo这项研究为我们展示了一个重要的技术发展方向：通过深入理解现有技术的局限性，设计针对性的解决方案，可以在不完全重建系统的前提下获得显著的性能提升。这种渐进式创新的思路对于AI技术的可持续发展具有重要价值。对于普通用户而言，这意味着未来的AI助手将能够更好地理解和处理复杂的视觉内容，为我们的工作和生活提供更加智能和可靠的支持。研究的成功也提醒我们，技术进步往往来自于对细节的深入洞察和巧妙的工程设计，而不仅仅是模型规模的简单扩大。

Q&A

Q1：什么是"迷失在中间"现象？为什么会发生？ A：这是指AI模型在处理长文本时，容易忽略中间部分内容的现象。就像人看很长的电影时容易忘记中间情节一样。这是因为模型的注意力机制天然倾向于关注开头和结尾，而对中间部分关注不足。当文档包含多张图片时，这个问题更加严重。

Q2：CoMemo的"双路径"设计是如何工作的？ A：CoMemo就像给AI装了两套"眼睛"。第一套负责整体理解文字和图片的关系，第二套专门维护图像记忆，不受文本长度影响。两套系统协同工作，确保无论文档多长，重要的视觉信息都不会被遗忘，同时保持对文本内容的准确理解。

Q3：这项技术会在哪些场景下特别有用？ A：主要在处理复杂文档的场景，比如包含多个图表的学术论文、医学影像报告、技术手册等。还有教育领域的AI家教系统，需要准确解释教材中的图表和示例。以及内容创作，如编写图文并茂的报告或新闻时，AI能准确引用所有视觉内容。

来源：至顶网一点号