摘要：每个婴儿在短短几年内都能学会一种语言，所以学习语言似乎并不难。但弄清楚这一过程是如何运作的，却完全是另一回事。语言学家已经设计了复杂的理论来解释语言学习，而机器学习的最新进展又给这一领域增添了新的难题。当计算机科学家开始构建为现代聊天机器人（如ChatGPT）
来源：神经现实
作者：Ben Brubaker
译者：EY
原文：https://www.quantamagazine.org/can-ai-models-show-us-how-people-learn-impossible-languages-point-a-way-20250113/
每个婴儿在短短几年内都能学会一种语言，所以学习语言似乎并不难。但弄清楚这一过程是如何运作的，却完全是另一回事。语言学家已经设计了复杂的理论来解释语言学习，而机器学习的最新进展又给这一领域增添了新的难题。当计算机科学家开始构建为现代聊天机器人（如ChatGPT）提供动力的语言模型时，他们搁置了几十年的语言学研究，但这一冒险似乎得到了回报。然而，这些模型真的在“学习”吗？
“即使它们做的事情看起来和人类相似，但原因可能完全不同。”纽约大学的计算语言学家塔尔·林岑（Tal Linzen）说道。
这并不是关于定义的争论。如果语言模型确实在学习语言，研究人员可能需要新的理论来解释它们的学习机制。但如果这些模型只是表面上看起来像在学习语言，那么机器学习对语言学的研究可能并无真正的启发意义。
语言学界泰斗诺姆·乔姆斯基（Noam Chomsky）公开支持后一种观点。在2023年发表的一篇犀利的《纽约时报》评论文章中，他和另外两位作者提出了许多反对语言模型的论点，其中之一听起来似乎矛盾：语言模型与语言学无关，因为它们“学得太好了”。具体来说，作者声称，模型可以像掌握可能存在的语言一样轻松地掌握“不可能语言”（指那些由完全不同于已知人类语言的规则构成的语言）。
最近，五位计算语言学家测试了乔姆斯基的这一说法。他们通过修改英语文本数据库生成了12种“不可能语言”，并发现语言模型在学习这些语言时，比学习普通英语更困难。他们的论文《任务：不可能的语言模型》（Mission: Impossible Language Models）在2024年计算语言学协会会议上荣获最佳论文奖。
“这是一篇出色的论文。”普林斯顿大学的语言学家阿黛尔·戈德堡（Adele Goldberg）说道，“绝对及时且重要。”
这项研究结果表明，语言模型可能实际上是研究婴儿咿呀学语过程的有用工具。
20世纪上半叶，大多数语言学家都专注于记录世界各地的语言。然而，到了20世纪50年代末，乔姆斯基开创了一种替代性方法。他借鉴了理论计算机科学和数学逻辑的思想，雄心勃勃地试图揭示所有语言背后的普遍结构。
乔姆斯基认为，人类的大脑中必须有专门用于语言处理的先天机制。这可以解释语言学中的许多重大谜团，包括某些简单的语法规则从未出现在已知语言中的现象。
乔姆斯基推理，如果语言学习的方式与其他学习方式相同，它就不会偏向某些语法规则而排斥另一些规则。但如果语言确实具有特殊性，那么这种现象正是可以预期的：任何专门的语言处理系统都会使人类倾向于某些语言，而使其他语言变得“不可能”。
“如果我们说人类的脑回路被‘硬接线’来学习某些东西，那么我们也必须说这些脑回路被‘硬接线’来无法学习其他东西。”加州大学洛杉矶分校的语言学家蒂姆·亨特（Tim Hunter）说道。
乔姆斯基的方法迅速成为理论语言学研究的主流，并占据主导地位长达半个世纪。随后，机器学习革命到来。
语言模型基于一种名为神经网络的数学结构，后者通过连接其神经元之间的关系来处理数据。每个连接的强度由一个称为“权重”的数值量化。为了构建一个语言模型，研究人员首先选择一种特定类型的神经网络，然后随机为网络中的连接分配权重。由于这些权重是随机的，模型最初输出的内容完全是胡乱的。接着，研究人员通过训练模型逐个预测句子中下一个单词的方式来改进它。他们为模型提供大量文本数据，每次输入一段文本后，模型会预测下一个单词，然后将预测结果与实际文本进行比较，并通过调整神经元之间的连接来提升预测准确性。经过无数次的小调整，模型最终学会生成令人惊叹的流畅句子。
尽管语言模型与人类在许多方面截然不同，例如，最先进的模型需要用数万亿个单词进行训练，远远超过任何人类一生中能接触到的语言量，但它们可能为语言学习提供一种全新的测试案例。这种案例能规避对婴儿进行伦理学实验的限制。
“我们无法用动物来研究语言。”哈佛大学计算语言学家伊莎贝尔·帕帕迪米特里乌（Isabel Papadimitriou）说道，她是这篇新论文的合著者。“语言模型是我们能够用来进行干预性实验的第一个工具。”
语言模型能够正常运行这一事实，证明了某种类似于语言学习的过程可以在完全不依赖乔姆斯基所提出的专门机制的情况下发生。基于神经网络的系统在许多与语言处理完全无关的任务上取得了巨大成功，而它们的训练过程完全忽略了语言学家关于句子复杂结构的研究。
“你只是在说，‘我看到了这些词；下一个词是什么？’这是一种非常线性的语言思维方式。”萨塞克斯大学的计算语言学家杰夫·米切尔（Jeff Mitchell）说道。
2020年，杰夫·米切尔与布里斯托大学的心理学家杰弗里·鲍尔斯（Jeffrey Bowers）合作，研究语言模型的独特学习方式如何影响它们掌握“不可能语言”的能力。从零开始发明一种新语言会引入太多无法控制的变量：如果一个模型在学习这种人工语言时表现得更好或更差，很难明确其中的原因。为了解决这个问题，米切尔和鲍尔斯设计了一种对照实验方法，他们通过以不同方式操控英语文本数据集，创造出三种由奇怪规则支配的独特人工语言。例如，为了构造其中一种语言，他们将每个英语句子随机分成两部分，并颠倒第二部分的单词顺序。
实验开始时，米切尔和鲍尔斯准备了四个完全相同的未训练语言模型副本。他们用四种不同的数据集对这些模型进行训练——三种“不可能语言”和未修改的英语数据集。最后，他们为每个模型安排了一项语法测试，测试内容是该模型所训练语言中的全新句子。
结果显示，接受“不可能语言”训练的模型并未被这些复杂的语法规则所难倒。它们的表现几乎与接受英语训练的模型一样准确。
这似乎表明，语言模型真的能够“完成不可能的任务”。乔姆斯基和他的合著者在2023年的文章中引用了这些结果，认为语言模型本质上无法区分可能的语言和那些荒谬的“不可能语言”。这是否意味着争论已经结束了？
朱莉·卡里尼（Julie Kallini）并不确定这一结论。2023年8月，她刚开始在斯坦福大学攻读计算机科学研究生学位。乔姆斯基对语言模型的批评经常出现在同学之间的非正式讨论中。但当卡里尼深入文献时，她发现自2020年米切尔和鲍尔斯的论文以来，没有任何研究进一步验证过“不可能语言”的学习能力。她觉得那篇论文非常有趣，但乔姆斯基的宏大主张显然需要更多证据支持。乔姆斯基的观点针对所有语言模型，而米切尔和鲍尔斯的实验仅测试了一种老旧的神经网络类型，该类型在今天的研究中已不再常用。对卡里尼来说，这项任务显而易见：用现代模型测试乔姆斯基的主张。
卡里尼向她的导师克里斯托弗·波茨（Christopher Potts）提出了一个全面研究的计划，研究基于Transformer网络的现代语言模型如何学习“不可能语言”。Transformer是当今顶尖语言模型的核心。波茨起初认为这对于卡里尼作为新生的第一个项目来说太过雄心勃勃，但她坚持认为这是值得的。
卡里尼和波茨决定由她负责训练模型。但在此之前，他们需要确定具体要测试哪些Transformer模型，以及要研究哪些语言。为此，他们邀请了三位计算语言学家加入团队：伊莎贝尔·帕帕迪米特里乌（Isabel Papadimitriou）、加州大学欧文分校的理查德·富特雷尔（Richard Futrell）以及德克萨斯大学奥斯汀分校的凯尔·马霍瓦尔德（Kyle Mahowald）。团队决定使用较小的Transformer网络，这些网络以2019年推出的GPT-2为模型。较小的网络需要更少的训练数据，因此更接近人类的语言学习过程；也许它们同样会表现出偏好可能语言而非“不可能语言”的倾向。
然而，卡里尼很快发现，并非所有人都这么认为。斯坦福计算机科学系的同行虽然不是机器学习的怀疑论者，但许多人在“不可能语言”的争论中站在乔姆斯基一边。
“许多人认为，Transformer网络可以学会任何东西。”她说。
团队设计了12种“不可能语言”，其中大部分是通过对英语数据集中的句子进行不同方式的词语重新排列来实现的。例如，在最极端的情况下，这些句子的单词是随机打乱的，而其他语言则遵循一个简单的模式，比如将每个句子分成三个相邻的单词组，并交换每组中的第二个和第三个单词。他们还包括了米切尔和鲍尔斯研究过的“部分反转”语言，以及一个“完全反转”语言——通过完全颠倒训练数据中的每个句子来生成。他们设计的最后一种语言被称为“跳词”（word hop），它与普通英语最为接近。不同之处仅在于区分动词是单数还是复数的方式：不是像“runs”中的“s”那样使用词尾，而是通过在动词后面第四个单词的位置添加一个特殊符号来表示。由于这种设计灵感来源于语言学文献中的经典案例，团队对模型如何处理这种语言尤其感兴趣。
“在理论上，‘将某个标记放在另一个标记的后四个词位置’并不算特别复杂。”亨特说道，“但似乎没有任何人类语言遵循这种模式。”
所有“不可能语言”都在不同程度上扰乱了英语的语言结构，但除了随机打乱的那种语言外，其他所有语言都在理论上传递了相同的信息。“原则上，一个全能预测器在学习这些‘不可能语言’时不应该比学习可能语言更困难。”富特雷尔说道。
卡里尼和她的同事们从多个Transformer网络副本开始，每个模型分别用一种不同的语言进行训练。在训练过程中，他们会定期暂停训练，测试每个模型的单词预测能力。所有模型的表现随着时间推移都在逐渐提高。即使在极端的随机单词重排情况下，模型依然能够学会像“the”这种单词比“impossible”更常见的规律。但接受未修改的英语文本训练的模型学习速度更快，最终表现也优于其他所有模型，只有一个例外：用“跳词”训练的模型表现大致相当，因为这种语言只是用特殊符号替代了一些动词后缀，并将其放置在动词后四个单词的位置。
这种结果并不令人意外——毕竟，这种语言与普通英语之间的微妙差异对大多数单词预测任务来说并不重要。然而，当研究人员使用专门设计的测试来区分这两种语言时，差异立刻显现：对模型来说，这种“不可能语言”依然要难得多。
经典的剧情反转来了：语言模型并非无所不能。
研究结果显示，语言模型和人类一样，更倾向于学习某些语言模式，而非其他模式。它们的偏好在某种程度上与人类的偏好相似，但并非完全一致。同时，人类语言学习的某些方面可能依然可以用乔姆斯基的理论来解释。无论是人类大脑还是神经网络，它们的复杂程度都让人望而却步，尤其是在像语言学习这样微妙的任务上，理解它们的差异显得异常困难。论文标题《任务：不可能的语言模型》（Mission: Impossible Language Models）可谓一语双关。
但正如动作片中的英雄一样，研究人员总是乐于接受那些看似不可能的任务，并通过创造性的方法取得进展。卡里尼和她的合作者提出了一个简单的原则，称为“信息局部性”（information locality），用来解释为什么某些“不可能语言”对模型来说更难学习。这个原则可能也与人类的语言习得相关。他们的研究成果已经催生了若干具体的后续研究提案。
“这正是我喜欢这篇论文的地方。”南非开普敦大学的认知科学哲学家瑞安·内夫特（Ryan Nefdt）说道， “它开启了许多不同的研究方向和问题。”
一个值得探索的方向是研究“不可能语言”的学习难度如何依赖于神经网络的设计细节。米切尔和鲍尔斯早期实验中的负面结果已经表明，不同类型的网络在学习能力上可能表现出极大的差异。语言模型研究人员通常通过调整神经网络的设计来优化模型的性能，以便更好地学习普通语言。但或许更有意义的是，寻找那些能让模型更难学习“不可能语言”的调整方法。
“这会是一个非常有趣的项目。”波茨说道，“这正是我们正在为《任务：不可能2》（Mission: Impossible 2）所做的事情。”
像许多续集一样，这个“第二任务”也会包含一个次要情节，这一情节灵感来源于蒂姆·亨特对团队研究结果的回应。他建议将“跳词”语言与一种新的人工语言进行对比，他怀疑这种新语言会让网络更加难以应对，即便它更接近真实语言。亨特依然倾向于乔姆斯基的语言学观点，但他很高兴看到关于神经网络语言学习的主张正在被直接测试。“我希望能看到更多这样的实验研究。”他说。
卡里尼和她的团队希望，他们的研究成果能激励其他研究人员也参与到“不可能语言”的研究中。这是一个丰富的研究领域，其中蕴含着许多值得探讨的课题。
“这完全可能发展成一个许多人都能参与的研究项目。”富特雷尔说道，“它应该成为一种研究类型，而不是独占系列。”
阅读最新前沿科技趋势报告，请访问欧米伽研究所的“未来知识库”
未来知识库是“欧米伽未来研究所”建立的在线知识库平台，收藏的资料范围包括人工智能、脑科学、互联网、超级智能，数智大脑、能源、军事、经济、人类风险等等领域的前沿进展与未来趋势。目前拥有超过8000篇重要资料。每周更新不少于100篇世界范围最新研究资料。欢迎扫描二维码或访问进入。
截止到12月25日 ”未来知识库”精选的100部前沿科技趋势报告
2024 美国众议院人工智能报告：指导原则、前瞻性建议和政策提案
未来今日研究所：2024 技术趋势报告 - 移动性，机器人与无人机篇
Deepmind：AI 加速科学创新发现的黄金时代报告
Continental 大陆集团：2024 未来出行趋势调研报告
埃森哲：未来生活趋势 2025
国际原子能机构 2024 聚变关键要素报告 - 聚变能发展的共同愿景
哈尔滨工业大学：2024 具身大模型关键技术与应用报告
爱思唯尔（Elsevier）：洞察 2024：科研人员对人工智能的态度报告
李飞飞、谢赛宁新作「空间智能」 等探索多模态大模型性能
欧洲议会：2024 欧盟人工智能伦理指南：背景和实施
通往人工超智能的道路：超级对齐的全面综述
清华大学：理解世界还是预测未来？世界模型综合综述
Transformer 发明人最新论文：利用基础模型自动搜索人工生命
兰德公司：新兴技术监督框架发展的现状和未来趋势的技术监督报告
麦肯锡全球研究院：2024 年全球前沿动态图表呈现
兰德公司：新兴技术领域的全球态势综述
前瞻：2025 年人形机器人产业发展蓝皮书 - 人形机器人量产及商业化关键挑战
美国国家标准技术研究院（NIST）：2024 年度美国制造业统计数据报告（英文版）
罗戈研究：2024 决策智能：值得关注的决策革命研究报告
美国航空航天专家委员会：2024 十字路口的 NASA 研究报告
中国电子技术标准化研究院 2024 扩展现实 XR 产业和标准化研究报告
GenAI 引领全球科技变革关注 AI 应用的持续探索
国家低空经济融创中心中国上市及新三板挂牌公司低空经济发展报告
2025 年计算机行业年度策略从 Infra 到 AgentAI 创新的无尽前沿
多模态可解释人工智能综述：过去、现在与未来
【斯坦福博士论文】探索自监督学习中对比学习的理论基础
《机器智能体的混合认知模型》最新 128 页
Open AI 管理 AI 智能体的实践
未来生命研究院 FLI2024 年 AI 安全指数报告 英文版
兰德公司 2024 人工智能项目失败的五大根本原因及其成功之道 - 避免 AI 的反模式 英文版
Linux 基金会 2024 去中心化与人工智能报告 英文版
脑机接口报告脑机接口机器人中的人机交换
联合国贸发会议 2024 年全球科技创新合作促发展研究报告 英文版
Linux 基金会 2024 年世界开源大会报告塑造人工智能安全和数字公共产品合作的未来 英文版
Gartner2025 年重要战略技术趋势报告 英文版
Fastdata 极数 2024 全球人工智能简史
中电科：低空航行系统白皮书，拥抱低空经济
迈向科学发现的生成式人工智能研究报告：进展、机遇与挑战
哈佛博士论文：构建深度学习的理论基础：实证研究方法
Science 论文：面对 “镜像生物” 的风险
镜面细菌技术报告：可行性和风险
Neurocomputing 不受限制地超越人类智能的人工智能可能性
166 页 - 麦肯锡：中国与世界 - 理解变化中的经济联系（完整版）
未来生命研究所：《2024 人工智能安全指数报告》
德勤：2025 技术趋势报告 空间计算、人工智能、IT 升级。
2024 世界智能产业大脑演化趋势报告（12 月上）公开版
联邦学习中的成员推断攻击与防御：综述
兰德公司 2024 人工智能和机器学习在太空领域感知中的应用 - 基于两项人工智能案例英文版
Wavestone2024 年法国工业 4.0 晴雨表市场趋势与经验反馈 英文版
Salesforce2024 年制造业趋势报告 - 来自全球 800 多位行业决策者对运营和数字化转型的洞察 英文版
MicrosoftAzure2024 推动应用创新的九大 AI 趋势报告
DeepMind：Gemini，一个高性能多模态模型家族分析报告
模仿、探索和自我提升：慢思维推理系统的复现报告
自我发现：大型语言模型自我组成推理结构
2025 年 101 项将 (或不会) 塑造未来的技术趋势白皮书
《自然杂志》2024 年 10 大科学人物推荐报告
量子位智库：2024 年度 AI 十大趋势报告
华为：鸿蒙 2030 愿景白皮书（更新版）
电子行业专题报告：2025 年万物 AI 面临的十大待解难题 - 241209
中国信通院《人工智能发展报告（2024 年）》
美国安全与新兴技术中心：《追踪美国人工智能并购案》报告
Nature 研究报告：AI 革命的数据正在枯竭，研究人员该怎么办？
NeurIPS 2024 论文：智能体不够聪明怎么办？让它像学徒一样持续学习
LangChain 人工智能代理（AI agent）现状报告
普华永道：2024 半导体行业状况报告发展趋势与驱动因素
觅途咨询：2024 全球人形机器人企业画像与能力评估报告
美国化学会 (ACS)：2024 年纳米材料领域新兴趋势与研发进展报告
GWEC：2024 年全球风能报告英文版
Chainalysis：2024 年加密货币地理报告加密货币采用的区域趋势分析
2024 光刻机产业竞争格局国产替代空间及产业链相关公司分析报告
世界经济论坛：智能时代，各国对未来制造业和供应链的准备程度
兰德：《保护人工智能模型权重：防止盗窃和滥用前沿模型》-128 页报告
经合组织 成年人是否具备在不断变化的世界中生存所需的技能 199 页报告
医学应用中的可解释人工智能：综述
复旦最新《智能体模拟社会》综述
《全球导航卫星系统（GNSS）软件定义无线电：历史、当前发展和标准化工作》最新综述
《基础研究，致命影响：军事人工智能研究资助》报告
欧洲科学的未来 - 100 亿地平线研究计划
Nature：欧盟正在形成一项科学大型计划
Nature 欧洲科学的未来
欧盟科学 —— 下一个 1000 亿欧元
欧盟向世界呼吁 加入我们价值 1000 亿欧元的研究计划
DARPA 主动社会工程防御计划（ASED）《防止删除信息和捕捉有害行为者（PIRANHA）》技术报告
兰德《人工智能和机器学习用于太空域感知》72 页报告
构建通用机器人生成范式：基础设施、扩展性与策略学习（CMU 博士论文）
世界贸易组织 2024 智能贸易报告 AI 和贸易活动如何双向塑造 英文版
人工智能行业应用建设发展参考架构
波士顿咨询 2024 年欧洲天使投资状况报告 英文版
2024 美国制造业计划战略规划
【新书】大规模语言模型的隐私与安全
人工智能行业海外市场寻找 2025 爆款 AI 应用 - 241204
美国环保署 EPA2024 年版汽车趋势报告英文版
经济学人智库 EIU2025 年行业展望报告 6 大行业的挑战机遇与发展趋势 英文版
华为 2024 迈向智能世界系列工业网络全连接研究报告
华为迈向智能世界白皮书 2024 - 计算
华为迈向智能世界白皮书 2024 - 全光网络
华为迈向智能世界白皮书 2024 - 数据通信
华为迈向智能世界白皮书 2024 - 无线网络
安全牛 AI 时代深度伪造和合成媒体的安全威胁与对策 2024 版
2024 人形机器人在工业领域发展机遇行业壁垒及国产替代空间分析报告
《2024 年 AI 现状分析报告》2-1-3 页.zip
万物智能演化理论，智能科学基础理论的新探索 - newv2
世界经济论坛 智能时代的食物和水系统研究报告
生成式 AI 时代的深伪媒体生成与检测：综述与展望
科尔尼 2024 年全球人工智能评估 AIA 报告追求更高层次的成熟度规模化和影响力英文版
计算机行业专题报告 AI 操作系统时代已至 - 241201
Nature 人工智能距离人类水平智能有多近？
Nature 开放的人工智能系统实际上是封闭的
斯坦福《统计学与信息论》讲义，668 页 pdf
国家信息中心华为城市一张网 2.0 研究报告 2024 年
国际清算银行 2024 生成式 AI 的崛起对美国劳动力市场的影响分析报告 渗透度替代效应及对不平等状况英文版
大模型如何判决？从生成到判决：大型语言模型作为裁判的机遇与挑战
毕马威 2024 年全球半导体行业展望报告
MR 行业专题报告 AIMR 空间计算定义新一代超级个人终端 - 241119
DeepMind 36 页 AI4Science 报告：全球实验室被「AI 科学家」指数级接管
《人工智能和机器学习对网络安全的影响》最新 273 页
2024 量子计算与人工智能无声的革命报告
未来今日研究所：2024 技术趋势报告 - 广义计算篇
科睿唯安中国科学院 2024 研究前沿热度指数报告
文本到图像合成：十年回顾
《以人为中心的大型语言模型（LLM）研究综述》
经合组织 2024 年数字经济展望报告加强连通性创新与信任第二版
波士顿咨询 2024 全球经济体 AI 成熟度矩阵报告 英文版
理解世界还是预测未来？世界模型的综合综述
GoogleCloudCSA2024AI 与安全状况调研报告 英文版
英国制造商组织 MakeUK2024 英国工业战略愿景报告从概念到实施
花旗银行 CitiGPS2024 自然环境可持续发展新前沿研究报告
国际可再生能源署 IRENA2024 年全球气候行动报告
Cell: 物理学和化学 、人工智能知识领域的融合
智次方 2025 中国 5G 产业全景图谱报告
上下滑动查看更多
来源：人工智能学家