图灵奖得主杨立昆最新万字实录:我们离真正的Agent还差几大关键技术

360影视 2025-01-10 16:42 2

摘要:1月9日,CES2025现场,Meta 副总裁兼首席人工智能科学家杨立昆与Wing Venture Capital 研究主管Rajeev Chand进行了一场对谈。对话中谈论了AGI、scaling law、世界模型、AI智能体等热点话题。

1月9日,CES2025现场,Meta 副总裁兼首席人工智能科学家杨立昆与Wing Venture Capital 研究主管Rajeev Chand进行了一场对谈。对话中谈论了AGI、scaling law、世界模型、AI智能体等热点话题。

杨立昆认为AGI这一术语本身没有实际意义,他强调人类智能是高度专业化的,称AGI并不代表人类级智能,此外他还表示AI智能体是一个挑战,而非现成的解决方案。

以下是本次对话完整实录,经翻译编辑:

未来扩展的关键:从规模化到推理时搜索与世界模型

目标驱动型 AI与下一代架构

因此,在过去五年里,我们一直在研究一种称为JEPA的全新架构。JEPA代表的是联合嵌入预测架构(Joint Embedding Predictive Architecture)。JEPA的核心思想是:你不会预测所有的细节,而是训练系统学习视频、文本等的抽象表示然后在这个抽象表示空间中进行预测。而所有无法预测的细节则被从该表示中去除。这使得预测问题变得更加简化,并且驱动系统学习关于环境的相关信息。

现在,我们已经有一些系统能够在一定程度上进行计划和行动,并在现实世界中实现类似的操作。我们即将提交的一篇论文显示,这些系统已经获得了一些常识,因此它们能够识别视频中是否发生了不可能的事情。

主持人:所以这些系统已经获得了一些常识。

杨立昆:是的,获得了一些常识。这是一个有趣的计算,我一直在讨论这个话题。如果你考虑一下大型语言模型训练时所用的数据量,大约是 20 万亿个Token,那就是像Llama 3 等模型所用的数据量。这些数据基本上来自互联网上所有公开可用的文本。

主持人:那么 JEPA 是在哪个版本的 Llama 中出现的?是哪个世代的 Llama?

杨立昆:如果我们幸运的话,应该是 Llama5。

主持人:如果幸运的话,Llama5。哇,这比我预想的要早。

杨立昆:是的,如果我们幸运的话。那么,好的,20 万亿个 Token。每个 Token 大约是 3 字节,所以总共总共就是 6 × 10¹³ 字节,四舍五入后大概是 10¹⁴ 字节。嗯,我们需要几百年才能读取完这些数据。你可以想象,这是一庞大的数据量。现在,假设我们将这个数字与视觉皮层在四年中所获得的信息量进行比较。一个孩子在四年内大约醒着 16000 小时。视神经每秒传输大约 2 兆字节的信息到视觉皮层。通过计算,在四年的时间里,一个孩子接收到的视觉信息总量大约是 10¹⁴ 字节。这告诉我们,仅仅通过文本数据来训练AI 是无法实现人类水平的智能的,这种情况永远不会发生。

主持人:所以,Yann,在准备这次会议时,正如我之前提到的,我让 ChatGPT、Gemini 和 Meta 向你提问,并要求它们提出一些更具争议性和更及时的问题。只有 Gemini 知道你关于JEPA 的工作,并向你提出了相关问题。那么,面对大规模训练和基于能量的模型在计算资源和合适数据库的可用性方面的挑战,你如何看待这些问题?

杨立昆:是的,基于能量的模型与我之前提到的概念相关,现如今人们称之为测试时计算。它的核心思想是,你通过优化计算系统的输出,而不是单纯通过固定数量的神经网络层进行计算。系统的目标是通过某个目标函数来衡量输出结果是否符合特定目标,例如赢得一场国际象棋比赛,或是打开一个水瓶,任务可以是任何你设定的目标。系统需要一个内部世界模型,通过这个模型来确定一系列操作,以满足这个目标。用于描述这种工作原理的数学框架(如果需要的话)就是所谓的基于能量的模型。简单来说,你会有一个能量函数,它会在测试时通过最小化与系统输出的偏差来进行优化。所以,测试时计算的思想并不是新的,它是一个非常经典的概念。

主持人:那么,最后一个问题是关于JEPA。Arvin,Perplexity 的投资者之一,如果我没记错的话,他曾在 Lex Fridman 的节目上赞扬了你过去几十年中的许多正确预测。他顺便提到,他并不认为JEPA 是正确的方法,虽然他没有具体说明原因。你会对那些可能不像你今天那样看好 JEPA的人说什么?

杨立昆:嗯,我认为你所说的是,他还没有看到任何演示表明JEPA 会成为下一代 AI 系统的基础。确实,他是对的。我的意思是,我们还没有完全构建出它。但它即将面世。我一直以来的研究方式是设定一个非常雄心勃勃的目标,然后思考系统的哪些特征最终能够带领我们到达这个目标,并且从那开始迈出第一步。我要告诉你,我一直不认为自回归大语言模型会带我们走向人类级别的智能。对此,我从未改变过立场。嗯,它们非常有用,我们应该继续研究它们。我们在 Meta 有一个庞大的团队致力于部署这些模型,这是非常棒的事情,对吧?但作为通向人类级智能的道路,它们稍显分散注意力,甚至有些误导。

因此,真正需要的系统是能够进行推理和规划,并且对物理世界有一定理解的系统。要实现这一点,这些系统必须在底层具备这些能力。

5、6年内不会实现AGI

主持人:那么,这是一个非常基本的问题。按照您的定义,您认为我们何时能够实现人类水平的智能?

杨立昆:如我在回答第一个问题时提到的,我认为这至少在我们拥有一个清晰的蓝图之前不会发生。

主持人:那么您会说这需要数千天的时间吗?

杨立昆:数千天,具体有多少个千呢?我认为在未来五到六年内,我们不太可能实现这一目标,至少在没有清晰的实现路径之前是如此。而且,即使有了蓝图,我们仍然需要更多时间来将其付诸实践。要知道,AI 发展史上曾多次发生类似的情况,人们总是对刚刚提出的新技术充满过高的期望,然而最终结果往往令人失望。

AI智能体是一个挑战,而不是一个现成的解决方案

主持人:那么让我们聚焦到近期的 2025 年。您认为AI Agent会成为一项引发广泛兴奋的技术吗?2025 年会是 AI 智能体的崛起之年吗?在我们两个月前举行的私人峰会上,我们询问了 300 位技术高管,AI 智能体一词在未来的趋势中占据了最重要的位置。

杨立昆:AI 智能体是一个挑战,而不是一个现成的解决方案。从某种角度看,每个人都知道我们需要构建能够进行规划和决策的系统。问题在于,如何实现这一目标?对此,我的回答是:JEPA、基于能量的模型、世界模型和目标驱动型 AI,这些都是构建的关键技术。

主持人:所以,您认为要构建 AI 智能体,是否需要所有这些技术的结合?或者,AI 智能体是否代表了用户自主行动的能力?它会在今年兴起吗?

杨立昆:我们可以从两个角度来看待 AI 系统的行动能力。首先是长远的目标,就像我之前所说的那样,建立一个能够进行推理、规划并理解物理世界的系统。而从短期角度来看,我们如何调整现有范式,使其能够执行一系列行动。事实上,我们可以通过大量现有的计划数据来训练 AI 系统,然后让它根据这些数据调整和反刍计划。例如,你问系统如何安排一次哥斯达黎加度假的行程,它就会根据以往的经验和数据提供建议。这是因为它在大量的计划数据中进行了训练,而不仅仅依赖于对哥斯达黎加地图的了解。要让系统能够从零开始进行规划,我们还需要下一代的 AI 系统。

同时,在一些特定领域,AI 也能够展现一定的行动能力,例如编写代码。代码生成任务涉及到计划和验证,因为我们可以检查代码是否能运行并产生有效的结果。这是因为代码作为 AI 代理的一个特例,提供了验证其输出有效性的途径。

主持人:让我转向开源。显然,您和 Meta 是开源的坚定支持者。我的一位同事问我一个问题:您是否看到 Llama 的开源贡献既是实质性的,又是 Llama 开发团队未曾预见的?如果有,能否举例说明?

杨立昆:是的,这确实存在。显然,有很多应用程序开发者在使用 Llama 并对其进行微调,以适应特定语言的生成或解答特定问题。事实上,已经有数十家初创公司采用这种方式,基于 Llama 开发垂直应用程序。这种模式帮助我们创造了一个新兴产业,尤其是在需要一定隐私保护并且要求本地运行的应用场景中,Llama 显得尤为适用。此外,我们还看到,一些大型公司也开始从专有系统转向开源平台,因为这样他们可以获得更多的控制权。

同时,开源社区对 Llama 的贡献也非常显著,特别是在理解大语言模型表现方面的贡献,比如在哪些情境下它们能够表现良好,在哪些情境下则会遇到困难。此外,开源社区还在不断优化 Llama,尤其是在嵌入式硬件、低精度算术等领域的应用上,这些进展使得 Llama 可以在普通硬件上运行,而无需依赖昂贵的 GPU。

监管开源平台和研发无意义

主持人:关于监管的问题,Yann,您多年来一直直言不讳地表达对监管的看法。您曾指出,监管应集中在应用层,而不是模型层。您是否认为,某些形式的监管适用于模型层?

杨立昆:快速回答是:不。我认为,监管研发是没有意义的。监管研发的风险在于,如果你对开源模型进行监管并将其发布到开源社区,最终会让整个社区承担责任风险。大多数公司都不愿意承担这种风险。如果出现任何连带责任,比如有人使用 Llama 的某个自定义版本做了不好的事情,而你也要为此负责,那么 Llama 很可能会从第二天开始消失。我们从未看到有人因为 Linux 出现错误而起诉 Linus Torvalds 或 Linux 基金会。即使你家的 Wi-Fi 路由器(运行 Linux)被黑客入侵了,你也不会起诉 Linus Torvalds,甚至不会起诉 Linux 基金会,而是会找路由器的制造商。因此,对于已部署的产品,确实需要进行监管和责任追究,但对于开源平台和研发阶段的工作,绝对不应该进行监管。

AI 智能体将与人类共同存在于虚拟和物理环境中

主持人:Yann,我想用一个快速问答环节结束这一部分。请简短回答“对”或“错”,并简要解释原因。我们将从第一个问题开始。设想未来,AI 智能体将与人类共同存在于虚拟和物理环境中。

杨立昆:对。

主持人:为什么?

杨立昆:我认为在未来10到15年内,每个人都会随身携带AI助手。它可能嵌入到智能眼镜或类似设备中,成为我们日常生活的一部分。它们将始终伴随我们,就像我们身边有一支始终跟随的团队一样。这些团队成员是虚拟的,而我们每个人将像大公司高层一样,拥有自己的虚拟助理。

主持人:这是Jensen昨天提到的观点——“通用机器人的ChatGPT时刻即将到来。”

杨立昆:这取决于你是否具有长远眼光。是的,未来几年将会迎来一个转折点。随着世界模型、规划等技术的进步,下一代机器人将成为可能。虽然我们现在还没有完全达到那个阶段,但它会发生,甚至可能同时发生——即机器人制造商有能力以合理价格生产出高效的机器人。

主持人:那么,你预见通用机器人会在两年后、三年后、五年后还是十年后到来?

杨立昆:我认为是在三到五年内。

主持人:对或错。请简短说明原因。在未来五年内,AI 智能体将能够进行并撰写被NeurIPS等技术会议接受的研究。

杨立昆:错。至少在没有人类指导的情况下,AI 智能体不会达到这种水平,尤其是不会达到像研究生那样的水平。

主持人:那么,在未来15年内呢?

杨立昆:嗯,我的意思是,我们目前正在努力让机器变得足够聪明,接近猫的智能水平。你提到的是一个科学家,而非一只猫。

主持人:明白了——没有AI科学家。那么下一个问题,核能是满足AI能源需求的最佳且最安全的来源。对或错,请用10秒钟说明理由。

杨立昆:对。我一直认为核能是最好的选择,是的。

主持人:倒数第二个问题。你的推文很精彩。2025年,你认为当选总统和埃隆·马斯克的推文会有很大改进。

杨立昆:嗯,我听到观众席里有人说“不”。好的,那么我现在不再在X上发帖了。嗯,我不再发布有实质内容的推文。我现在只转发我认为有趣的内容,偶尔会对朋友或熟人的帖子发表评论。就这样,推文就到此为止。

主持人:对或错?20秒说明原因。

杨立昆:我在Threads、LinkedIn和Facebook上发帖,那才是你应该去的地方。如果这个问题是关于我是否改变了政治观点,答案是没有。我对Elon的不满主要来源于他对科学机构的攻击。他攻击像Anthony Fauci这样的科学家,还告诉人们不要上学,声称大学变得过于“清醒”了。这种言论正在破坏公众对高等教育和科学机构的信任,我认为这是极其具有破坏性的。至于民主问题,那又是另一个话题。因此,我的立场没有变化,而不幸的是,Elon也没有改变。

主持人:好的,Yann,感谢你参加我们的访谈,感谢你这些年来为AI领域所做的所有贡献,使我们今天能够取得如此成就,也感谢你未来的工作。看看这个房间,座无虚席。非常感谢Yann LeCun来到CES。

阅读最新前沿科技趋势报告,请访问欧米伽研究所的“未来知识库”

未来知识库是“欧米伽未来研究所”建立的在线知识库平台,收藏的资料范围包括人工智能、脑科学、互联网、超级智能,数智大脑、能源、军事、经济、人类风险等等领域的前沿进展与未来趋势。目前拥有超过8000篇重要资料。每周更新不少于100篇世界范围最新研究资料。欢迎扫描二维码或访问进入。

截止到12月25日 ”未来知识库”精选的100部前沿科技趋势报告

2024 美国众议院人工智能报告:指导原则、前瞻性建议和政策提案

未来今日研究所:2024 技术趋势报告 - 移动性,机器人与无人机篇

Deepmind:AI 加速科学创新发现的黄金时代报告

Continental 大陆集团:2024 未来出行趋势调研报告

埃森哲:未来生活趋势 2025

国际原子能机构 2024 聚变关键要素报告 - 聚变能发展的共同愿景

哈尔滨工业大学:2024 具身大模型关键技术与应用报告

爱思唯尔(Elsevier):洞察 2024:科研人员对人工智能的态度报告

李飞飞、谢赛宁新作「空间智能」 等探索多模态大模型性能

欧洲议会:2024 欧盟人工智能伦理指南:背景和实施

通往人工超智能的道路:超级对齐的全面综述

清华大学:理解世界还是预测未来?世界模型综合综述

Transformer 发明人最新论文:利用基础模型自动搜索人工生命

兰德公司:新兴技术监督框架发展的现状和未来趋势的技术监督报告

麦肯锡全球研究院:2024 年全球前沿动态图表呈现

兰德公司:新兴技术领域的全球态势综述

前瞻:2025 年人形机器人产业发展蓝皮书 - 人形机器人量产及商业化关键挑战

美国国家标准技术研究院(NIST):2024 年度美国制造业统计数据报告(英文版)

罗戈研究:2024 决策智能:值得关注的决策革命研究报告

美国航空航天专家委员会:2024 十字路口的 NASA 研究报告

中国电子技术标准化研究院 2024 扩展现实 XR 产业和标准化研究报告

GenAI 引领全球科技变革关注 AI 应用的持续探索

国家低空经济融创中心中国上市及新三板挂牌公司低空经济发展报告

2025 年计算机行业年度策略从 Infra 到 AgentAI 创新的无尽前沿

多模态可解释人工智能综述:过去、现在与未来

【斯坦福博士论文】探索自监督学习中对比学习的理论基础

《机器智能体的混合认知模型》最新 128 页

Open AI 管理 AI 智能体的实践

未来生命研究院 FLI2024 年 AI 安全指数报告 英文版

兰德公司 2024 人工智能项目失败的五大根本原因及其成功之道 - 避免 AI 的反模式 英文版

Linux 基金会 2024 去中心化与人工智能报告 英文版

脑机接口报告脑机接口机器人中的人机交换

联合国贸发会议 2024 年全球科技创新合作促发展研究报告 英文版

Linux 基金会 2024 年世界开源大会报告塑造人工智能安全和数字公共产品合作的未来 英文版

Gartner2025 年重要战略技术趋势报告 英文版

Fastdata 极数 2024 全球人工智能简史

中电科:低空航行系统白皮书,拥抱低空经济

迈向科学发现的生成式人工智能研究报告:进展、机遇与挑战

哈佛博士论文:构建深度学习的理论基础:实证研究方法

Science 论文:面对 “镜像生物” 的风险

镜面细菌技术报告:可行性和风险

Neurocomputing 不受限制地超越人类智能的人工智能可能性

166 页 - 麦肯锡:中国与世界 - 理解变化中的经济联系(完整版)

未来生命研究所:《2024 人工智能安全指数报告》

德勤:2025 技术趋势报告 空间计算、人工智能、IT 升级。

2024 世界智能产业大脑演化趋势报告(12 月上)公开版

联邦学习中的成员推断攻击与防御:综述

兰德公司 2024 人工智能和机器学习在太空领域感知中的应用 - 基于两项人工智能案例英文版

Wavestone2024 年法国工业 4.0 晴雨表市场趋势与经验反馈 英文版

Salesforce2024 年制造业趋势报告 - 来自全球 800 多位行业决策者对运营和数字化转型的洞察 英文版

MicrosoftAzure2024 推动应用创新的九大 AI 趋势报告

DeepMind:Gemini,一个高性能多模态模型家族分析报告

模仿、探索和自我提升:慢思维推理系统的复现报告

自我发现:大型语言模型自我组成推理结构

2025 年 101 项将 (或不会) 塑造未来的技术趋势白皮书

《自然杂志》2024 年 10 大科学人物推荐报告

量子位智库:2024 年度 AI 十大趋势报告

华为:鸿蒙 2030 愿景白皮书(更新版)

电子行业专题报告:2025 年万物 AI 面临的十大待解难题 - 241209

中国信通院《人工智能发展报告(2024 年)》

美国安全与新兴技术中心:《追踪美国人工智能并购案》报告

Nature 研究报告:AI 革命的数据正在枯竭,研究人员该怎么办?

NeurIPS 2024 论文:智能体不够聪明怎么办?让它像学徒一样持续学习

LangChain 人工智能代理(AI agent)现状报告

普华永道:2024 半导体行业状况报告发展趋势与驱动因素

觅途咨询:2024 全球人形机器人企业画像与能力评估报告

美国化学会 (ACS):2024 年纳米材料领域新兴趋势与研发进展报告

GWEC:2024 年全球风能报告英文版

Chainalysis:2024 年加密货币地理报告加密货币采用的区域趋势分析

2024 光刻机产业竞争格局国产替代空间及产业链相关公司分析报告

世界经济论坛:智能时代,各国对未来制造业和供应链的准备程度

兰德:《保护人工智能模型权重:防止盗窃和滥用前沿模型》-128 页报告

经合组织 成年人是否具备在不断变化的世界中生存所需的技能 199 页报告

医学应用中的可解释人工智能:综述

复旦最新《智能体模拟社会》综述

《全球导航卫星系统(GNSS)软件定义无线电:历史、当前发展和标准化工作》最新综述

《基础研究,致命影响:军事人工智能研究资助》报告

欧洲科学的未来 - 100 亿地平线研究计划

Nature:欧盟正在形成一项科学大型计划

Nature 欧洲科学的未来

欧盟科学 —— 下一个 1000 亿欧元

欧盟向世界呼吁 加入我们价值 1000 亿欧元的研究计划

DARPA 主动社会工程防御计划(ASED)《防止删除信息和捕捉有害行为者(PIRANHA)》技术报告

兰德《人工智能和机器学习用于太空域感知》72 页报告

构建通用机器人生成范式:基础设施、扩展性与策略学习(CMU 博士论文)

世界贸易组织 2024 智能贸易报告 AI 和贸易活动如何双向塑造 英文版

人工智能行业应用建设发展参考架构

波士顿咨询 2024 年欧洲天使投资状况报告 英文版

2024 美国制造业计划战略规划

【新书】大规模语言模型的隐私与安全

人工智能行业海外市场寻找 2025 爆款 AI 应用 - 241204

美国环保署 EPA2024 年版汽车趋势报告英文版

经济学人智库 EIU2025 年行业展望报告 6 大行业的挑战机遇与发展趋势 英文版

华为 2024 迈向智能世界系列工业网络全连接研究报告

华为迈向智能世界白皮书 2024 - 计算

华为迈向智能世界白皮书 2024 - 全光网络

华为迈向智能世界白皮书 2024 - 数据通信

华为迈向智能世界白皮书 2024 - 无线网络

安全牛 AI 时代深度伪造和合成媒体的安全威胁与对策 2024 版

2024 人形机器人在工业领域发展机遇行业壁垒及国产替代空间分析报告

《2024 年 AI 现状分析报告》2-1-3 页.zip

万物智能演化理论,智能科学基础理论的新探索 - newv2

世界经济论坛 智能时代的食物和水系统研究报告

生成式 AI 时代的深伪媒体生成与检测:综述与展望

科尔尼 2024 年全球人工智能评估 AIA 报告追求更高层次的成熟度规模化和影响力英文版

计算机行业专题报告 AI 操作系统时代已至 - 241201

Nature 人工智能距离人类水平智能有多近?

Nature 开放的人工智能系统实际上是封闭的

斯坦福《统计学与信息论》讲义,668 页 pdf

国家信息中心华为城市一张网 2.0 研究报告 2024 年

国际清算银行 2024 生成式 AI 的崛起对美国劳动力市场的影响分析报告 渗透度替代效应及对不平等状况英文版

大模型如何判决?从生成到判决:大型语言模型作为裁判的机遇与挑战

毕马威 2024 年全球半导体行业展望报告

MR 行业专题报告 AIMR 空间计算定义新一代超级个人终端 - 241119

DeepMind 36 页 AI4Science 报告:全球实验室被「AI 科学家」指数级接管

《人工智能和机器学习对网络安全的影响》最新 273 页

2024 量子计算与人工智能无声的革命报告

未来今日研究所:2024 技术趋势报告 - 广义计算篇

科睿唯安中国科学院 2024 研究前沿热度指数报告

文本到图像合成:十年回顾

《以人为中心的大型语言模型(LLM)研究综述》

经合组织 2024 年数字经济展望报告加强连通性创新与信任第二版

波士顿咨询 2024 全球经济体 AI 成熟度矩阵报告 英文版

理解世界还是预测未来?世界模型的综合综述

GoogleCloudCSA2024AI 与安全状况调研报告 英文版

英国制造商组织 MakeUK2024 英国工业战略愿景报告从概念到实施

花旗银行 CitiGPS2024 自然环境可持续发展新前沿研究报告

国际可再生能源署 IRENA2024 年全球气候行动报告

Cell: 物理学和化学 、人工智能知识领域的融合

智次方 2025 中国 5G 产业全景图谱报告

上下滑动查看更多

来源:人工智能学家

相关推荐