摘要:鄂维南北京科学智能研究院理事长,北京大学国际机器学习研究中心主任。中国科学院院士,美国数学学会、美国工业与应用数学学会、英国物理学会、中国工业与应用数学学会、中国运筹学会、中国计算机学会Fellow。研究领域为机器学习、计算数学、应用数学。2022 年国际数学
2024年诺贝尔物理学奖评述
鄂维南*
北京大学 北京科学智能研究院
鄂维南 北京科学智能研究院理事长,北京大学国际机器学习研究中心主任。中国科学院院士,美国数学学会、美国工业与应用数学学会、英国物理学会、中国工业与应用数学学会、中国运筹学会、中国计算机学会Fellow。研究领域为机器学习、计算数学、应用数学。2022 年国际数学家大会1小时报告人。2022年国际机器学习大会特邀报告人。2003年获国际工业与应用数学协会Collatz奖。2020年获国际高性能计算最高奖ACM Gordon Bell奖。2023年获国际工业与应用数学协会Maxwell奖。
摘 要
深度学习方法起源于20世纪80年代。其根源一方面来自于霍普菲尔德在生物物理学方面的工作,另一方面来自于辛顿的玻尔兹曼机、多层感知机和反向传播算法等一系列工作。今年的诺贝尓物理学奖肯定了人工神经网络和深度学习作为物理学的研究对象,给物理学提供了一个迫切需要的新的增长点。这个奖项对物理学和人工智能的发展,都会带来帮助。关键词:人工神经网络、记忆、吸引子、深度学习
2024年诺贝尔物理学奖授予了约翰·霍普菲尔德(John J. Hopfield)和杰弗里·辛顿(Geoffrey E. Hinton), 以表彰他们用开创性方法和概念在塑造人工神经网络领域方面发挥的重要作用。这一奖项引发了广泛关注和讨论,尤其是辛顿的获奖。从传统的观点来看,辛顿本人的研究生涯跟物理学几乎没有交集。那么他为什么能够获得诺贝尔物理学奖?在许多人眼里,诺贝尔物理学奖是诺贝尔奖中含金量最高也是要求最苛刻的一个奖项。物理学家或者物理学的工作在其它领域获奖的例子并不少见。例如密度泛函理论,虽然是物理学家的工作,也发表在物理学期刊上,但是获得了诺贝尔化学奖。而其他领域的科学家或其他领域的工作获得诺贝尔物理学奖的例子却很难找到。如何看待这个诺贝尔物理学奖,尤其是辛顿的获奖?本文提供一个个人视角。
首先,这个诺贝尔物理学奖究竟奖励的是什么工作。在公开的获奖介绍里提到,此奖项是表彰基于人工神经网络实现机器学习的基础性发现和发明。霍普菲尔德首先提出从一个充分大的、简单重复的动力系统中可以涌现出计算能力,比方说记忆[1]。
这些记忆以动力系统吸引子的形式出现。那些简单重复的单元可以被视为神经元。这个机制是鲁棒的,它对神经元模型的细节并不敏感,所以我们既可以把这个动力系统看成是一个脑神经网络的模型,也可以把它看成是一个集成电路或者人工神经网络的模型。
从一个充分大的、简单单元的叠加构建起来的动力系统中可以涌现出宏观吸引子,这个现象本身并不是霍普菲尔德首先发现的。流体力学中的涡就可以看成是这类现象。但我们不能把涡看成是记忆。一个有用的记忆模型必须能够记住任何我们希望它记住的状态。也就是说,任给几个状态,我们必须能够选取上述动力系统中的超参数,使得这些状态是这个动力系统的吸引子。霍普菲尔德的神经网络模型具备这个性质。
神经网络的概念起源于1943 年McCulloch 和 Pitts 的文章[2]。Rosenblatt的感知机对人工智能的发展也产生了巨大影响[3]。但这些工作关心的都是比较简单直接的计算功能。霍普菲尔德的工作让我们首先看到通过涌现现象,大神经网络可能带来的新的能力。这是一个新的视角,也是一项典型的生物物理学工作。它把复杂动力系统的想法应用于神经科学,对后来神经科学的发展产生了深远影响。随便提一下,多年之后,涌现现象成了深度学习大模型的一个重要标志。
辛顿则是深度学习的孕育者。他缔造了深度学习,也承受了过程中的痛苦。辛顿受霍普菲尔德工作的影响,但关注的是人工智能。他提出的玻尔兹曼机、多层感知机和反向传播算法,为现代深度学习奠定了基础[4, 5]。无论是玻尔兹曼机,还是反向传播算法,离诺贝尔物理学奖的要求还是有距离的。尽管玻尔兹曼机中创造性地引入了概率模型,但在众多的神经网络模型中,很难说它起到了很特别的作用。反向传播算法是训练深度神经网络的基本工具,但类似的想法已经更早出现在控制论方法中[6]。辛顿的主要贡献在于他通过一系列的工作,如多层感知机、反向传播算法以及AlexNet, 引入了深度学习这个工具并让我们看到了它的强大威力[7]。
这个过程并不很顺利,包括辛顿的博士指导导师在内的很多人对他选择的方向都不看好,但他最终通过AlexNet 等工作说服了学术界。这背后的动力,在于他对神经网络的深刻的洞察力。辛顿坚定不移地认为,神经网络有着巨大的潜在能力。如果有足够高质量的数据和足够大的模型,深度学习的威力就会显现出来。人工智能现在的进步,根本上还是来源于辛顿多年来的坚持和推动。
对物理学来说,这个诺贝尔奖至少有两方面的意义。第一,它强化了物理学对人工智能发展的贡献。通过霍普菲尔德到辛顿这样一条线索,让人们意识到物理学在人工神经网络乃至人工智能发展中的重要作用。这是一个极其高明的宣传手段。更重要的是,它为物理学的发展打开了一个巨大的空间。尽管神经网络本质上是一个数学工具,但是物理学的方法很可能可以提供一些新的视角和新的手段。尤其重要的是,大模型是一个复杂系统。许多复杂系统研究中观察到的现象和发展起来的方法,都可能对大模型的研究有帮助。如标度律和涌现现象,都已经在大模型中出现。把它作为物理学新的研究对象,无论是对物理学的发展,还是对人工智能的发展,都会带来帮助。它给物理学提供了一个迫切需要的新的增长点。
如果我们把深度学习看着是一个20世纪80年代诞生的婴儿,那么霍普菲尔德就像是它的父亲,辛顿就像是它的母亲。这就是这个诺贝尔物理学奖的意义。
参考文献(略)
阅读最新前沿科技研究报告,欢迎访问欧米伽研究所的“未来知识库”
未来知识库是“欧米伽未来研究所”建立的在线知识库平台,收藏的资料范围包括人工智能、脑科学、互联网、超级智能,数智大脑、能源、军事、经济、人类风险等等领域的前沿进展与未来趋势。目前拥有超过8000篇重要资料。每周更新不少于100篇世界范围最新研究资料。欢迎扫描二维码或点击本文左下角“阅读原文”进入。
截止到11月25日 ”未来知识库”精选的100部前沿科技趋势报告
Air Street Capital《2024 年人工智能现状报告》
未来今日研究所:2024 技术趋势报告 - 广义计算篇
科睿唯安中国科学院 2024 研究前沿热度指数报告
文本到图像合成:十年回顾
《以人为中心的大型语言模型(LLM)研究综述》
经合组织 2024 年数字经济展望报告加强连通性创新与信任第二版
波士顿咨询 2024 全球经济体 AI 成熟度矩阵报告
理解世界还是预测未来?世界模型的综合综述
Google Cloud CSA2024 AI 与安全状况调研报告
英国制造商组织 MakeUK2024 英国工业战略愿景报告从概念到实施
花旗银行 CitiGPS2024 自然环境可持续发展新前沿研究报告
国际原子能机构 2024 聚变关键要素报告 - 聚变能发展的共同愿景
国际可再生能源署 IRENA2024 年全球气候行动报告
Cell: 物理学和化学 、人工智能知识领域的融合
智次方 2025 中国 5G 产业全景图谱报告
未来今日研究所:2024 技术趋势报告 - 移动性,机器人与无人机篇
Deepmind:AI 加速科学创新发现的黄金时代报告
PitchBookNVCA2024 年第三季度全球风险投资监测报告
德科 2024 年未来全球劳动力报告
高工咨询 2024 年协作机器人产业发展蓝皮书
国际能源署 IEA2024 年全球能源效率报告
基因慧基因行业蓝皮书 2024 - 2025
普华永道 PwC2024 全球经济犯罪调查英国报告 - 智对风险直面挑战
中国互联网协会 2024 面向未来网络的数字孪生城市场景应用白皮书
中移智库 2024 先进感知新技术及新应用白皮书
智次方研究院 2025 中国 AIoT 产业全景图谱报告
未来今日研究所:2024 技术趋势报告 - 人工智能篇
国际电联:迈向衡量数字经济的通用框架的路线图
联合国粮食与农业组织:2024 年世界粮食安全和营养状况
大语言模型综述
李飞飞等,AI 智能体:探索多模式交互的前景综述
哈尔滨工业大学 - ChatGPT 调研报告
2024《美国核部署战略报告》最新文件
清华大学:AIGC 发展研究 3.0 发布版 b 版
OpenAI:2024 年 OpenAI o1 大模型技术报告
Verizon2024 年世界支付安全报告
皇家学会哲学学报 从复杂系统角度评估人工智能风险
复旦大学 大模型 AI 代理的兴起和潜力:综述
经合组织 OECD2024 年气候行动监测报告
Wevolver2024 年边缘人工智能现状报告 - 探索各行业边缘 AI 应用动态
2024 全球人形机器人产品数据库报告 - 人形机器人洞察研究 BTIResearch
《全球金融稳定报告》 把舵定航 不确定性、人工智能与金融稳定
瑞士洛桑联邦理工学院 《人工智能中的 - 创造力:进展与挑战》
《你所需要知道的理 - 论:人工智能、人类认知与决策》牛津大学最新 53 页报告
世界经济论坛 新兴技术时代的网络弹性导航:应对复杂挑战的协作解决方案 2024
ADL 理特咨询 2024 汽车出行未来展望报告
2024 中国硬科技创新发展白皮书 - 开辟未来产业新赛道
科学时代的大语言模型中的人工智能
Gartner2025 年重要战略技术趋势报告
CBInsights2024 年第三季度全球人工智能投融资状况报告
TrendHunter2025 年全球趋势报告 - 全行业顶级创新和变革趋势前瞻
天津大学 2024 大模型轻量化技术研究报告
欧洲海洋局 2024 导航未来报告将海洋置于更广泛的地球系统中第六版
美国安全与新兴技术中心 2024 AI 生成代码的网络安全风险研究报告
国际原子能机构 2024 年世界聚变展望报告
复旦大学 2024 大语言模型的能力边界与发展思考报告
安盛 AXA2024 年气候与生物多样性报告气候过渡计划路线图
YouGov2024 美国公众对人工智能 AI 的态度调研报告
麦肯锡中国报告:《中国与世界》完整版
麦肯锡全球研究所 2024 下一代竞技场报告 - 重塑全球经济的 18 个新兴行业领域
Project Sid,一个旨在模拟多智能体交互以研究 AI 文明的项目
德国研究与创新专家委员会 德国研究创新与科技成果报告
2024 年欧洲关键产业的科技重塑研究报告
智能体专题报告之二 - 智能体时代来临具身智能有望成为最佳载体
ActivateConsulting 2025 年顶级技术和媒体发展趋势报告
兰德 全球灾难风险评估
斯坦福李飞飞 《AI agent 综述》Agent AI 开启多模态交互新纪元
中国联通研究院 2024 中国生成式人工智能应用与实践展望白皮书中文版
普华永道 2024 第五次工业革命研究报告迈向弹性可持续和以人为本的未来
大成 Dentsons2024 年全球智慧城市与互联社区智库年度报告
TechUK2024 量子技术挑战与机遇并存构筑量子韧性的策略与实践研究报告
Emakina 将塑造 2024 年的技术趋势报告
图灵奖得主 Yann LeCun《机器如何才能达到人类智能水平?》——Yann LeCun, 附 Slides 及视频
华为:2024 鸿蒙生态应用开发白皮书 V3.0(最新版)
CASA:2023 第三代半导体产业发展报告
大型视觉语言模型中幻觉现象的综述
IEA PVPS:2024 光伏应用趋势报告(英文版)
ABI Research:82 个将会或不会在 2024 年发生的技术趋势白皮书
《美国反无人机系统未来趋势报告(2024 - 2029 年)》
《军事自主系统:未来之路》美空军
空间智能如何?牛津大学博士论文《深度具身智能体的空间推理与规划》
2024 低空经济场景白皮书 v1.0
战略与国际研究中心(CSIS)人类地月空间探索的总体状况研究报告(2024)
Artificial Intelligence Review:人工智能与物理学相遇的综述
麦肯锡:全球难题,应对能源转型的现实问题
欧米伽理论,智能科学视野下的万物理论新探索(研究论文)
Gartner 2025 年主要战略技术趋势研究报告
2024 人工智能国外大模型使用手册 + 中文大模型使用手册
详解光刻巨人 ASML 成功之奥妙 - 241015
CB Insights:未来变革者:2025 年九大科技趋势研究报告
国际电信联盟 2023 - 2024 年联合国人工智能 AI 活动报告
《人工智能能力的人类系统集成测试和评估》最新 51 页,美国防部首席数字和人工智能办公室(CDAO)
2024 瑞典皇家科学院诺贝尔化学奖官方成果介绍报告
MHP 2024 全球工业 4.0 晴雨表白皮书
世界经济论坛白皮书《AI 价值洞察:引导人工智能实现人类共同目标》
瑞典皇家科学院诺贝尔物理学奖科学背景报告资料
AI 智能体的崛起:整合人工智能、区块链技术与量子计算 (研究报告,书)
OpenAI o1 评估:AGI 的机遇和挑战(280 页)
世界知识产权组织:2024 年全球创新指数
美国白宫:国家近地天体防御策略与行动计划
上下滑动查看更多
来源:人工智能学家