摘要：语言模型是通过大量文本训练实现语言处理与生成的计算机算法。其优势在于无需依赖预设规则即可识别模式，因此成为语言学研究的重要工具。需要特别指出的是，并非所有模型都一样，其内部架构各不相同，也因此决定了它们学习和处理语言的方式存在差异。这些差异使研究人员能够以新的

本报综合外媒报道 语言模型是通过大量文本训练实现语言处理与生成的计算机算法。其优势在于无需依赖预设规则即可识别模式，因此成为语言学研究的重要工具。需要特别指出的是，并非所有模型都一样，其内部架构各不相同，也因此决定了它们学习和处理语言的方式存在差异。这些差异使研究人员能够以新的方式比较语言，并揭示语言多样性的深刻内涵。

语言如何在结构复杂度与交流效率之间实现动态平衡？为了回答这个问题，莱布尼茨德语研究所的科研团队利用一个超大规模语料库训练计算语言模型并展开研究。该语料库包含2000余种语言的6500多份文档，如宗教著作、法律文件、电影字幕、报纸文章等，涵盖近30亿个单词。通过测量模型处理不同语言的计算负荷，研究团队建立了语言复杂度的量化指标体系。该研究《人类语言在复杂性与效率之间取得平衡》（Human Languages Trade off Complexity against Efficiency）已发表在最新的《复杂系统》期刊上。

“我们在统一语料库上训练了架构迥异的语言模型”。莱布尼茨德语研究所助理研究员萨沙·沃尔夫（Sascha Wolfer）说，“一些简单的模型只能看到最后两个词，限制了捕捉并分析长程语法模式的能力。而其他一些模型，如基于注意力机制的变形模型就可以使用先进的机制来分析复杂的长程语法间的依赖关系，发掘更丰富的语言结构”。研究人员采用了多样技术，确保研究结论的普适性。结果显示，尽管模型架构存在显著差异，但其对语言复杂度的评估结果展现出高度一致性。

研究人员进一步说明，若A语言在特定模型中的处理难度高于B语言，这种相对关系在其他模型结构、文本类型中也同样成立。这些结果不仅能反映计算成本，更能反映人类语言的内在复杂性本质。

研究人员发现，计算处理难度更高的语言会以更高的效率来实现复杂度补偿机制，即结构越复杂的语言系统，编码相同信息所需的符号数量越少。值得注意的是，研究揭示出语言社群规模与系统复杂度呈正相关，大型语言社区更倾向于发展高复杂度—高效率的语言体系。

语言复杂度提升，认知负荷也随之增加，既然如此，语言系统为何依然向着复杂的方向演进？该研究结果解释了其中的关键机制，即复杂度与效率之间存在动态平衡。高复杂度语言通过提升信息密度实现效率补偿，即在表达相同内容时所需要的文本更少。

研究人员表示，习得复杂语言虽然需要投入更多成本，但其带来的表达效率优势可能形成进化驱动力，也会带来更多表达选择。由此，研究团队推测，教育领域可以通过提供系统和正规的语言教学来支持复杂结构语言的习得与传承，与此同时，书面传播的成本约束，包括载体材料、存储空间或传输带宽等，都会驱动信息压缩的需求。二者协同作用可共同推动语言系统朝着复杂方向演进。研究人员最后还提出，验证该假设也是这项研究未来的重要方向。

来源：全国党媒信息公共平台