至顶智库 | 从诺贝尔物理学奖到Geoffrey Hinton传奇人生

摘要：2024年诺贝尔物理学奖首次授予人工智能领域的领军科学家，人工智能应用于科学研究被提到更加重要的位置。至顶智库将从2024年诺贝尔物理学奖说起，进而展现全球人工智能杰出科学家Geoffrey Hinton的传奇人生。

2024年诺贝尔物理学奖首次授予人工智能领域的领军科学家，人工智能应用于科学研究被提到更加重要的位置。至顶智库将从2024年诺贝尔物理学奖说起，进而展现全球人工智能杰出科学家Geoffrey Hinton的传奇人生。

图片来源：https://x.com/NobelPrize/status/1843589140455272810

约翰·霍普菲尔德 (John Hopfield)和杰弗里·辛顿（Geoffrey Hinton）因其在神经网络领域的开创性贡献荣获2024年诺贝尔物理学奖。2024年12月8日，在瑞典斯德哥尔摩的颁奖典礼上，被称为"人工智能之父"的Geoffrey Hinton讲述Hopfield网络和玻尔兹曼机的原理与发展。至顶智库将Geoffrey Hinton演讲的主要内容总结如下：

霍普菲尔德网络（Hopfield Network）

霍普菲尔德网络使用二进制神经元，这些神经元的状态为1或0。右边可以看到一个霍普菲尔德网络，这些神经元之间有对称的加权连接。整个网络的全局状态被称为一个“构型”（configuration）。每个构型都有一个“优度”（goodness），构型的优度就是所有“同时开启”的神经元对之间权重的总和。把红色框中的权重加起来是 4，这就是该网络构型的优度。而“能量”（energy）就是优度的负数。这些网络会稳定到能量的最小值。图片来源：Geoffrey Hinton – Nobel Prize lecture. NobelPrize.org. Nobel Prize Outreach AB 2024. Tue. 17 Dec 2024.

霍普菲尔德网络的关键在于，每个神经元都可以局部地计算出需要做什么来降低能量。“能量”可以理解为“坏度”（Badness）。如果来自其他激活神经元的总加权输入为正，则该神经元应该开启；如果为负，则应该关闭。如果每个神经元都持续使用这个规则，并且随机选择神经元并不断应用这个规则，网络最终会稳定到一个能量最小值。

右边的构型实际上是能量最小值，其能量为-4。如果选择其中任何一个神经元，在得到总的正输入情况下，开启的神经元会倾向于保持开启；在得到总的负输入情况下，关闭的神经元会倾向于保持关闭。一个霍普菲尔德网络可以有许多能量最小值，最终稳定在哪个状态取决于起始状态，也取决于做出随机决定的顺序，也就是更新哪个神经元的顺序。现在这个构型是一个更好的能量最小值，打开右边三角形的神经元，优度是 3 + 3 - 1 = 5，所以能量是 -5，这是一个更好的最小值。

图片来源：Geoffrey Hinton – Nobel Prize lecture. NobelPrize.org. Nobel Prize Outreach AB 2024. Tue. 17 Dec 2024.

通过使用关于神经元是否应该开启或关闭的二进制决策规则，可以“清理”不完整的记忆。从一个部分记忆开始，然后不断应用这个决策规则就会把记忆补全。稳定到能量最小值是一种内容寻址记忆（Content Addressable Memory）的方式。可以通过激活记忆中的一部分来访问整个记忆，然后使用这个规则，会把记忆补全。

引入随机性解决搜索问题

搜索问题：通过使神经元具有“噪声”来解决。如果有像标准霍普菲尔德网络那样的确定性神经元，如果系统稳定到一个能量最小值，比如 A 点——那里的球代表整个系统的状态，也就是整个系统的构型—无法从 A 点到达 B 点，因为神经元的决策规则只允许能量下降。右边的图表是决策规则：如果输入为正，则开启；如果输入为负，则关闭。希望能够从A点到达B点，但这意味着必须在能量上“爬坡”。解决这个问题的方法是使用带有噪声的神经元，也就是随机二进制神经元（stochastic binary neurons）。仍然只有二进制状态，状态要么是 1，要么是 0。

图片来源：Geoffrey Hinton– Nobel Prize lecture. NobelPrize.org. Nobel Prize Outreach AB 2024. Tue. 17 Dec 2024.

如果得到一个很大的正输入，几乎总是开启；如果得到一个很大的负输入，几乎总是关闭。但如果输入是“软性”的，如果接近于 0，那么行为就是概率性的。如果输入是正的，通常会开启，但偶尔也会关闭；如果输入是小的负值，通常会关闭，但偶尔也会开启。但没有实数值，始终是二进制的，如果想用这些隐藏神经元来解释二进制图像，需要将二进制图像固定在可见单元上。将二进制图像“固定”（clamp）在可见单元上，这指定了输入内容。然后我们随机选择一个隐藏神经元，查看它从其他激活的隐藏神经元获得的总输入——把它们都初始化为随机状态—如果获得总的正输入，我们很可能会开启它，但也可能关闭它，尤其当正输入很小的时候。我们持续执行这个规则：如果输入为大的正值则开启，如果输入为大的负值则关闭，如果是“软性”的输入则做出概率性的决策。如果我们持续这样做，并持续随机选择隐藏神经元，系统最终会达到所谓的“热平衡”（thermal equilibrium）。一旦达到热平衡，隐藏神经元的状态就是对输入的一种解释。

玻尔兹曼机（Boltzmann Machine）

玻尔兹曼机包含“清醒”阶段和“睡眠”阶段。

“清醒”阶段（wake phase）：网络接收图像的阶段。将一个图像“固定”在可见神经元上，让隐藏神经元来回“震荡”并稳定到热平衡。然后，一旦隐藏神经元与可见神经元达到热平衡，对于每一对相连的神经元——要么是两个隐藏神经元，要么是一个可见神经元和一个隐藏神经元——如果都处于开启状态，就给神经元之间的权重增加一个小量。

“睡眠”阶段（sleep phase）：如果只运行“清醒”阶段，权重只会越来越大，很快就都会变成正值，所有的神经元都会一直开启。你需要将“清醒”阶段与“睡眠”阶段结合起来。在“睡眠”阶段，可以把网络想象成在做梦，通过更新所有神经元（隐藏和可见）的状态来达到热平衡。一旦达到热平衡，对于每一对相连的神经元，如果都处于开启状态，就从神经元之间的权重中减去一个小量。

受限玻尔兹曼机（Restricted Boltzmann Machine，RBM）及应用

图片来源：Geoffrey Hinton – Nobel Prize lecture. NobelPrize.org. Nobel Prize Outreach AB 2024. Tue. 17 Dec 2024.

如果对玻尔兹曼机进行限制，就可以得到更快的学习算法。如果隐藏神经元之间没有连接，那么“清醒”阶段就变得非常简单。将输入固定在可见神经元上来表示图像，然后并行地更新所有隐藏神经元，这样就可以达到热平衡状态。这样你就已经达到热平衡了。只需要用很短的路径更新一次，就可以很快达到热平衡。这对隐藏神经元来说很好，但在“睡眠”阶段仍然有问题。将网络置于某种随机状态，不断更新隐藏神经元和可见神经元，持续很长时间才能达到热平衡。目前存在一个快捷方法：将数据放在可见单元，然后并行更新所有隐藏神经元，之后达到热平衡状态。现在你更新所有的可见单元，称之为“重构”（reconstruction）。当网络展示重构并且已经与重构达到平衡时，测量同时开启的频率，这两者之间的差异就是学习算法，之后只需要根据差异来按比例改变权重。这种做法的实际效果相当好，速度很快，快到足以使玻尔兹曼机变得更加实用。

Netflix推荐系统：Netflix实际上使用受限玻尔兹曼机，并结合其他方法，根据所有与你类似的其他用户喜好，决定向你推荐哪些新电影。这种玻尔兹曼机和其他方法的组合达到预期效果。

接下来，回顾下2024年10月诺奖委员会发布诺贝尔物理学奖提到的相关内容：

赫布定律（Hebbian theory）：20世纪40年代，研究人员已开始探索大脑神经元和突触网络背后的数学原理。心理学领域也为这一领域提供重要线索，神经科学家Donald Hebb指出，学习之所以发生，是因为当神经元共同工作时，之间的连接得到加强。科学家循着这样的想法，通过计算机模拟构建人工神经网络，从而重现大脑网络的功能。在这些模拟中，节点构成大脑的神经元，每个节点被赋予不同的值，而突触则由节点之间的连接表示，赫布定律至今仍作为更新人工神经网络的基本规则之一。

图片来源：https://x.com/NobelPrize/status/1843597151848272258

霍普菲尔德网络（Hopfield Network）：Hopfield网络联想记忆通过所有节点彼此相连来构建，信息可以从所有节点输入和读取。

玻尔兹曼机（Boltzmann Machine）：玻尔兹曼机由两个部分构建，一种节点接受信息，被称为可见节点；另一种节点构成隐藏层，隐藏节点的值及其连接也会影响整个网络的能量。机器通过逐一更新节点值的规则运行。最终，玻尔兹曼机将进入这样一种状态：节点的模式可以变化，但网络的整体性质保持不变。

受限玻尔兹曼机（Restricted BoltzmannMachine，RBM）：受限玻尔兹曼机在同一层的节点不会相互连接。机器通常是一个接一个地串联使用。在训练完一台机器后，隐藏节点的内容会用于训练下一台机器。

图片来源：https://x.com/NobelPrize/status/1843589599215370484

Geoffrey Hinton传奇人生

杰弗里·辛顿（Geoffrey Hinton），1947年出生于英国温布尔登，2018年图灵奖得主，英国皇家学会院士，加拿大皇家学会院士，美国国家科学院外籍院士，多伦多大学名誉教授。辛顿于1970年获得剑桥大学（University of Cambridge）实验心理学学士学位，于1978年获得爱丁堡大学（University of Edinburgh）人工智能博士学位。20世纪80年代，辛顿将反向传播（Backpropagation）算法引入多层神经网络训练做出重要贡献，并发明“玻尔兹曼机”。Geoffrey Hinton与Yoshua Bengio和Yann LeCun并称为“深度学习三巨头”，并共同获得2018年图灵奖（Turing Award）。

辛顿出生于学术世家，他是19世纪英国数学家和哲学家乔治•布尔（George Boole）和19世纪书写美国历史的外科医生詹姆斯•辛顿（James Hinton）的玄孙。乔治•布尔提出的“布尔逻辑”（是一种使用布尔运算符连接各个检索词，然后由计算机进行相应逻辑运算，以找出所需信息的方法）为现代计算机提供了数学基础。辛顿的堂姐核物理学家琼安•辛顿（Joan Hinton）是“曼哈顿计划”（Manhattan Project，20世纪40年代美国为制造原子弹而实施的一项秘密军事工程）中为数不多的女性成员之一。其父亲是英国皇家学会会员、昆虫学家霍华德•埃佛勒斯•辛顿（Howard Everest Hinton）。

Geoffrey Hinton家族

在辛顿十几岁的时候，他对大脑的研究产生了兴趣。进入剑桥大学国王学院（King's College, Cambridge）学习后，辛顿很快意识到当时的科学家对大脑的了解并没有他先前认为的那样超前。科学家了解大脑的某些部分，但他们对所有这些部分如何结合并最终提供视觉、听觉、记忆和学习思考的能力知之甚少。辛顿尝试过研究生理学、化学、物理学和心理学，但是都找不到想要的答案。直到毕业后的那一年，辛顿阅读了加拿大心理学家唐纳德·赫布（Donald Hebb）的《行为组织》(The Organization Of Behavior)一书，该书解释了让大脑进行学习的基本生物过程。赫布认为，学习是沿着一系列神经元发射微小电信号的结果，这些电信号引起了物理变化，以一种新的方式将这些神经元连接在一起。受此书启发，每周辛顿都会在赫布想法提出的基础上去补充关于大脑工作的见解，这些内容恰好与英国政府对人工智能的第一波投资和爱丁堡大学研究生项目的兴起相吻合。

赫布（Donald Hebb）与《行为组织》

辛顿毕业后，先是在伦敦做了一年木匠，之后在父亲任教的布里斯托大学（University of Bristol）接受了一份心理学方面的短期工作，并以此为跳板进入爱丁堡大学（The University of Edinburgh）的人工智能项目。在爱丁堡大学期间，辛顿在一间实验室里赢得一个学习机会，这间实验室由研究员克里斯托弗·郎吉特-希金斯(Christopher Longest-Higgins)负责。他提出的连接主义（Connectionism）方法与辛顿在伊斯灵顿图书馆（Islington Central Library）记录在笔记本中的理论相吻合。此时的辛顿在计算机科学方面几乎没有经验，对数学也不感兴趣，但是他对于大脑如何工作以及机器如何模仿大脑有着明确的信念。

在辛顿进入爱丁堡大学的第一年，即1971年，英国政府进行一项关于人工智能进展的研究。报告称，“迄今为止，在该领域任何地方取得的成果都没有实现当初承诺的重大影响。”因此，英国政府对该领域的资金投入被削减，该领域迎来“人工智能的寒冬”，以至于到辛顿完成其论文时，他的研究已经处于不断缩小的边缘。完成论文后，辛顿寻找工作的过程也十分艰难—只有一所大学为他提供了面试机会。于是辛顿放眼国外，发现美国的人工智能研究也在减少，因为美国政府也得出与英国相同的结论，并因此减少对大学的资助。

在美国加利福尼亚州南部，辛顿发现了和他一样对人工智能发展感到乐观的人，他们被称为PDP小组。PDP是“并行分布式处理”（parallel distributed processing）的缩写，是“感知机”“神经网络”或“连接主义”的另一种说法。这个小组里有加州大学圣迭戈分校（University of California, San Diego）心理学系的几位学者，以及神经科学家弗朗西斯·克里克（Francis Crick），此人因为发现了DNA（脱氧核糖核酸）分子结构而获得诺贝尔奖。在PDP小组中，戴维·鲁梅尔哈特（David Rumelhart）教授是核心成员之一，他致力于打造一个多层的神经网络。然而确定每个神经元对整体计算的相对重要性（权重）是一个需要攻克的难题。此时寻找将每个权重的设定与其他权重结合的途径成为必要。鲁梅尔哈特认为这个途径是一个叫“反向传播（Backpropagation）”的过程，本质上是一种基于微分的算法，当神经元能够分析更多数据并更好的理解每个权重含义就会发送一种数学反馈，沿着神经元的层次结构向下传递。

PDP小组核心成员

在随后的几年里，辛顿与特里·谢诺夫斯基（普林斯顿大学生物系博士后）建立合作关系，他们通过第二个连接主义者小组会面，这个小组每年在全美各地召开一次会议，讨论的话题如玻尔兹曼机以及反向传播等。而辛顿这种对边缘想法的重视也给他带来了新的工作机会。斯科特·法尔曼（Scott Fahlman）与辛顿和谢诺夫斯基一起参加了年度连接主义者大会，法尔曼开始认识到招募辛顿可以成为该大学对冲其在人工智能领域押注的一种方式。1981年，在法尔曼的保荐下，辛顿去卡内基梅隆大学面试，并做了两场讲座：一场在心理学系，一场在计算机科学系。他在讲座中并没有刻意强调数学和计算机科学，而是更多的鼓励想法，这让那些有兴趣并且能跟上他思路的人感到莫名的兴奋。在卡内基梅隆大学（Carnegie Mellon University）辛顿接触到一台 Lisp 机器，从而开始编写程序。在卡耐基梅隆大学工作6年后，辛顿和妻子离开美国前往加拿大。1987年，辛顿被任命为加拿大高等研究院（Canadian Institute for Advanced Research, CIFAR）的研究员，参与其首个研究项目“人工智能、机器人与社会（Artificial Intelligence, Robotics & Society）”。1987年至今，辛顿在多伦多大学（University of Toronto）任计算机科学系教授。

2004 年，辛顿及其合作者成功提议在 CIFAR 启动新项目—神经计算与自适应感知（Neural Computation and Adaptive Perception,NCAP），辛顿领导该项目长达十年。2007年，辛顿与他人合作共同撰写题为《图像变换的无监督学习》（Unsupervised learning of image transformations）论文。2008年，辛顿与劳伦斯?范德马滕（Laurens van der Maaten）共同开发可视化方法 t - SNE。

OpenAI前首席科学家、联合创始人伊尔亚·苏茨克维（Ilya Sutskever）就曾师从辛顿，他仍记得2000年前后在辛顿的实验室工作的时光。当时还是人工智能的“冬季”，辛顿的实验室只有10个学生，该领域的工作和资金都很匮乏，来自行业的资助也少得可怜。然而，就像辛顿坚信自己的研究终有用武之地一样，这群“局外人”坚信自己有一种罕见的洞察力，坚信自己是与众不同的破局者。2012年，Ilya Sutskever与辛顿在ImageNet竞赛中首次引入深度卷积神经网络（AlexNet），标志着深度学习在图像分类领域实现重大突破。

图片来源：https://www.wired.com/2013/03/google-hinton/

2013年3月，在辛顿的公司DNNresearch Inc.被谷歌Google收购后，辛顿正式加入谷歌，继续进行AI研究。2015年，深度学习三巨头Yann LeCun、Yoshua Bengio、Geoffrey Hinton在Nature上共同发表一篇名为Deep Learning的综述文章，讲述深度学习为传统机器学习带来的变革。

图片来源：https://www.cs.toronto.edu/~hinton/absps/NatureDeepReview.pdf

辛顿在2017年和两位谷歌工程师取得研究突破—“胶囊神经网络”（Capsule neural networks），与传统卷积神经网络（CNN）相比，胶囊神经网络在处理图像识别任务时，能够更好地捕捉物体的空间关系和姿态信息。核心思想是使用胶囊来表示图像中的不同部分，每个胶囊可以包含多个神经元，并且能够学习到物体的特定属性，如位置、大小、方向等），在业界再次引起轰动。2022 年，在神经信息处理系统会议（NeurIPS）上，辛顿介绍名为“前向-前向” 算法（Forward-Forward，该算法的思路是用两次前向传递过程替代传统反向传播的前向-后向传递过程，一次使用正（即真实）数据，另一次使用可由网络单独生成的负数据）的神经网络算法。2023 年5月，辛顿从谷歌辞职。同年10月，辛顿加入VayuRobotics顾问委员会，加入该委员会的原因是“将人工智能用于机器人技术的巨大潜力，特别是在机器学习和视觉传感器的协同工程方面”。