摘要：有趣又有料！世界顶尖科学家论坛和抖音知识联手打造的《对话世界顶尖科学家》近日已陆续上线。在5期节目及科学特别企划中，从生命科学到人工智能、从微观世界到宇宙奥秘，抖音科普创作者和科学家们展开了广泛而深刻的对话。

有趣又有料！世界顶尖科学家论坛和抖音知识联手打造的《对话世界顶尖科学家》近日已陆续上线。在5期节目及科学特别企划中，从生命科学到人工智能、从微观世界到宇宙奥秘，抖音科普创作者和科学家们展开了广泛而深刻的对话。

人工智能大模型是怎样训练出来的？为什么说人工智能本质上是数据驱动的？机器学习的最高境界是什么？我们离通用人工智能还有多远……

抖音科普创作者@漫士沉思录和Meta高级工程经理张颖展开了一场专业度拉满的高能对话，对于想眺望人工智能未来面貌的观众来说，这是一场极富预见性的对话。

如何训练更好的大模型

首次参加2024世界顶尖科学家论坛的张颖是一位“青科新面孔”，组委会为她制作的海报上写着她的研究目标“推动人类进一步理解人工智能和机器学习”——这和访谈者、@漫士沉思录在清华大学的博士课题密切相关。

近两年来在人工智能领域，最炙手可热的当然是大语言模型。但大语言模型的训练需要惊人的算力，这意味着庞大的资源、完备的基础设施、高端的硬件以及依托于硬件运行的软件、服务器、存储……张颖介绍，要想训练出更好的大语言模型，不仅要有精妙的算法，还要将各种元素全部协调到最佳的组合，其中计算机网络对GPU通信的影响关键，这就是业内人士所说的“Network for AI”。

@漫士沉思录也有自己的“network”，规模是8张显卡。但即便在这样一个小型模型的训练中，也会发现8张显卡并不比1张显卡快多少，“因为卡与卡之间的通讯太耗时了”。8张显卡尚且如此，何况ChatGPT那种动辄成千上万张显卡的大模型呢？必须优化算法，优化一切相关环节，用张颖的话说“要榨干它的最后一滴可能性”。

人工智能的本质是数据驱动

分布式计算、并行化、张量并行、推理……两位人工智能专业人士的对话中不仅有高频的专业术语，也有“理论、技术和应用，是掌握一门学科的三个维度”这类科学思维干货，更有如“人工智能是数据驱动的本质”这样的的精辟洞见。

“一个大模型好不好，最关键的是看它的训练数据好不好。”张颖介绍了人工智能领域的共识，目前“无标注的海量数据训练效果最好，生成式AI已经证明了这一点”。

然而@漫士沉思录也用一个让人忍俊不禁的例子反思了AI。在互联网上很火的“弱智吧”，曾有人问ChatGPT：人体60%的成分是水，能否将人丢进火场灭火？虽然ChatGPT煞有介事提供了很多分析，它却不能理解生命为何物。

这也引出了下一个话题：大模型的局限性。张颖认为它“在复杂的因果推理上还不太理想”，比如因为大量数据来自某些特定群体，生成的内容具有倾向性，无法做到大家正越来越重视的“AI的公平性”，科学家们已经在做很多工作“清洁数据”。

然而会不会有一天全世界的数据都不够了呢？

张颖在Meta也训练大模型：“当你有成千上万张显卡时，就会发现互联网的数据其实没那么取之不竭，甚至感叹人类的知识是否也是有限的？”

终有一天在用完全世界所有数据之后，我们还能怎么推进AI？学术界目前正在进行的研究是让机器学习未来自动生成新的数据，自我演化、自我迭代。张颖认为如若“AI想跟人类一样聪明，这是一条必经之路”。

通用人工智能的物理极限

“大力出奇迹！”张颖形象地描述了目前推进通用人工智能研发的方式。强大的通用人工智能何时能出现取决于有多少张显卡、有多大的算力，以及有多少能源的支撑，这方面“目前已经碰触到物理的极限”。

据《纽约客》等媒体报道，ChatGPT每天响应2亿个请求的过程中消耗了超过50万度电力，相当于1.7万美国家庭的用电量。而预计整个人工智能领域2027年的用电量将达到85至134太瓦时（1太瓦时=10亿千瓦时）。

人工智能的尽头是能源，诚哉斯言。

在算法等技术层面上，尽管目前的大语言模型似乎暗示成功预测下一个字符就意味着通用人工智能时代的降临，张颖却认为未来存在不同的可能性。人类社会有多种维度，“生活中很多东西是语言触碰不到的”，张颖的看法很哲学、很维特根斯坦。

成功的秘诀

张颖在Meta已经取得了上百项专利、发表了上百篇论文。如此年轻就已硕果累累，张颖透露了她的秘诀。

第一个秘诀是“热爱”，张颖热爱做系统，她享受让自己的工作在一个整体系统中运行有序、发挥作用、解决问题。@漫士沉思录难掩羡慕，但作为一个看着“一百多页的公式，人都要麻了”的理论博士，他抄不了张颖的作业，他要走的是自己的路。

张颖的另一个秘诀是“专精”。世界浩瀚，当然可以花时间扩展见识的广度。但她以切身体会建议有志于科研的年轻人，深耕专业，成为领域内真正的专家更为重要。

还有一个秘诀是“协作”。人工智能的工程往往庞大，它需要紧密的团队协作，“再强大的人都不可能独自完成一切”。

@漫士沉思录敏锐地发现，张颖最新发表的论文都和大模型有关而非她本专业的网络。这正是张颖的又一个秘诀“学习新知”。人工智能的发展一日千里，她认为从业者不仅要关注本专业进展，也必须对关联专业了如指掌、深度思考。

也许，还有最后一个“秘诀”。

“你上班摸鱼吗？”

“当然也会啊！”

不管运动、美食、旅行，工作中做点别的事调剂一下，“有收获的摸鱼会让人更热爱工作”。

节目链接：https://www.douyin.com/user/MS4wLjABAAAAw7rnI_IKa3RqHhdTOE3vTtaDIe2bkNcdYi-6XDHZBmc?from_tab_name=main&modal_id=7442540181720173824

来源：庆阳石油化工