摘要：近日，由荷兰格罗宁根大学的Jirui Qi和Arianna Bisazza，哈佛大学的Shan Chen和Zidi Xiong，阿姆斯特丹大学的Raquel Fernández，以及麻省总医院和波士顿儿童医院的Danielle S. Bitterman联合发表

想象一下，你在日本旅行，向一位当地向导咨询路线。虽然他最终给出了正确的方向，但整个思考过程却是用你听不懂的英语自言自语的。即使答案正确，你可能会对这位向导缺乏信任，因为你无法验证他的思考过程是否合理。这正是当前AI大型推理模型面临的问题 - 它们在处理非英语任务时，往往会默认使用英语进行"思考"，即使用户希望它们用其他语言展示思维过程。

研究团队针对这一问题，全面评估了两大AI推理模型家族（Distilled-R1和Skywork-OR1）在他们建立的XReasoning基准测试上的表现。结果令人惊讶：即使是最先进的32B参数模型，在非英语任务中也经常默认使用英语思考，或者生成支离破碎的推理过程。这种语言不匹配问题严重影响了用户的监督能力和信任度。

研究人员发现，通过"提示黑客"技术（在思维痕迹开始处插入特定语言的提示前缀）可以显著提高语言匹配率，但这同时会导致答案准确性下降。例如，当模型被引导用用户语言思考时，其准确率可能会从44.8%降至29.6%。另外，研究人员也尝试了针对性的后训练方法，发现即使只有100个目标语言的训练实例，也能大幅改善语言匹配问题，但准确性下降的权衡依然存在。

这项研究不仅揭示了当前多语言AI系统的局限性，也为未来研究指明了方向：如何开发既能以用户语言思考，又能保持高准确性的多语言推理系统，这对构建真正实用、值得信赖的全球AI应用至关重要。

一、研究背景：AI的多语言思考困境

最近的大型推理模型（LRMs）在英语推理任务上展现出了令人印象深刻的能力，特别是当它们被提示生成详细的思维痕迹时。想象一下，这些模型就像在解决问题时会"自言自语"，一步步写下思考过程，最后得出答案。这种方法显著提高了它们的推理准确性。然而，研究团队发现，尽管这些模型在英语环境下表现出色，但它们能否用其他语言"思考"的能力却鲜少被研究。

这个问题比看起来更加重要。想象你使用一个AI助手来解决一个复杂的数学问题，而你只懂中文。如果AI虽然给出了正确答案，但它的所有思考过程都是用英语表达的，你会感到困惑和不安全，因为你无法验证它的推理是否合理。正如研究中的一个例子所示："如果罗杰开始有5个球，他又得到了3个球，现在他有多少个球？"日本用户希望看到日语的思考过程，而不是英语的"Roger started with 5 balls. He got 3 more balls. Now he has 8 balls."

为了深入研究这个问题，研究团队建立了XReasoning基准测试，包含来自AIME2024、AIME2025和GPQA的挑战性问题，以及MGSM数据集中的问题，总共370个问题，每个都被翻译成11种不同语言。他们测试了六个先进的开源大型推理模型：DeepSeek-Distilled-R1系列（1.5B、7B、14B和32B参数）和Skywork-OR1系列（7B和32B参数）。

二、语言匹配与准确性的权衡发现

研究团队首先发现，当使用标准提示方式时，这些模型在遵循用户指定的思考语言方面存在显著问题。即使是最强大的Distilled-R1-32B模型，在AIME和GPQA数据集上的语言匹配率也只有约45%。换句话说，模型在一半以上的情况下没有使用用户要求的语言进行思考！

更令人惊讶的是，研究人员发现模型在被要求用法语思考时，几乎总是默认使用英语，完全忽视了用户的语言偏好。这就像你请一位法语助教用法语解释数学问题，但他坚持用英语思考一样荒谬。

为了解决这个问题，研究人员尝试了一种称为"提示黑客"的技术。具体来说，他们在思维痕迹的开始处添加一个特定语言的前缀，如"应要求，我将开始用中文思考"（对于中文用户）。这个简单的技巧神奇地将语言匹配率从约45-50%提高到了90%以上，大大增强了用户监督AI思考过程的能力。

然而，这种改进并非没有代价。研究表明，当模型被强制使用用户语言思考时，其答案准确性通常会下降。例如，Skywork-OR1-32B模型在AIME数据集上的准确率从44.8%下降到29.6%，在GPQA数据集上从53.6%下降到39.8%。这种准确性下降在较小的模型上更为明显，而在较大的模型上相对缓和，但仍然存在。

这一发现揭示了多语言AI系统中的一个基本权衡：语言匹配度与答案准确性之间存在此消彼长的关系。就像一个人用非母语思考复杂问题时可能会不那么精确一样，AI模型在使用非英语语言进行推理时也会损失一些准确性。

三、多语言思考的实际障碍分析

研究团队深入分析了这些模型在不同语言对中的实际表现。他们创建了热力图，展示了当模型被要求在特定语言中思考时，它实际使用的语言分布。结果清晰地显示，即使是最先进的Distilled-R1-32B模型，在被要求用法语、日语、泰语或斯瓦希里语思考时，也会默认切换到英语或中文。

这种行为反映了模型训练数据中的语言偏见。研究人员注意到，模型更倾向于用英语或中文思考，这两种语言在其训练数据中最为普遍。这就像一个精通多种语言但主要在英语环境中受教育的人，在解决复杂问题时自然而然地回到英语思考模式一样。

更令人担忧的是，当模型确实尝试用非英语语言思考时，它们的推理往往支离破碎或不连贯。例如，一个被要求用日语思考的案例中，模型实际上生成了中文思考过程："好，我现在要解决这个几何问题。题目是关于三角形ABC内接于圆ω，点B和C处的切线在点D相交，线段AD与圆ω再次交于点P..."。这对于只懂日语的用户来说完全无法理解。

这种语言不匹配问题对于实际应用有重大影响。如果用户无法理解AI的思考过程，他们就无法有效地监督其推理，也难以建立对系统的信任。想象一下，如果你请医生解释诊断过程，但他用你完全不懂的语言说明理由，你会对诊断结果感到多么不安。

四、针对性后训练的缓解尝试

研究团队进一步探索了是否可以通过针对性的后训练来缓解这种语言不匹配问题。他们选择了日语、泰语和泰卢固语这三种在基准测试中表现较差的语言，为每种语言准备了100或250个训练实例。这些实例来自LIMO数据集，包含数学问题及其分步解决方案，并被翻译成目标语言。

结果表明，即使只有100个目标语言的训练实例，也能显著提高语言匹配率。例如，对于泰语，匹配率从约30%跃升至近100%。然而，这种改进仍然伴随着答案准确性的下降。有趣的是，将训练实例从100增加到250并不能可靠地缓解这个问题，有时甚至会导致语言匹配率下降。

这一发现暗示，语言匹配与准确性之间的权衡不仅仅是训练数据量的问题，可能涉及到模型架构和训练方法的更深层次限制。就像一个人可能很难同时精通多种语言并在每种语言中都保持同样的推理能力一样，当前的AI模型似乎也面临类似的多语言能力天花板。

五、研究的启示与未来方向

这项研究揭示了当前多语言AI系统的一个重要挑战：如何平衡用户语言偏好与答案准确性。这不仅是技术问题，也关乎用户体验和信任建立。当用户无法理解AI的思考过程时，即使答案正确，他们也可能对系统产生怀疑。

研究团队指出，未来的研究可能需要探索更先进的适应策略，如强化学习方法，以解决这种紧张关系，开发既能用用户语言思考又能保持高准确性的多语言推理系统。这就像训练一位真正国际化的教师，能够用任何学生的母语清晰地解释复杂概念，而不牺牲教学质量。

同时，这项研究也提醒我们，随着AI系统在全球范围内的部署，我们需要更加重视多语言能力的评估和改进。毕竟，只有当AI能够流利地"思考"和交流用户的语言，才能真正实现全球普及的目标。

总的来说，这项研究不仅识别了当前AI系统的一个关键限制，也为未来研究指明了方向：开发真正能够在用户语言中思考而不牺牲准确性的多语言AI系统。这对于构建全球可用、值得信赖的AI应用至关重要。就像一位真正的国际向导应该能够用任何游客的语言流利地思考和交流一样，未来的AI系统也应该能够无缝适应不同用户的语言需求。

来源：至顶网一点号