摘要：最终，我希望讨论是什么让AI研究变得有压力，能让那些有幸从事这一领域工作的我们生活更加快乐。因为，尽管目前混乱，它仍然是一项美好、充实的职业；一项有潜力解决科学、哲学乃至人类自身许多重大问题的职业。
DeepMind近两万引科学家Felix Hill，去世了。
他参与过NLP领域经典的GLUE和SuperGLUE基准，2016年起在DeepMind工作直到最后一天。
在他去世的前几个月，留下一篇讨论“在现代AI领域工作的压力”的文章《2000亿权重的责任》，引起热议。
文章中提到他因家人去世、压力等原因患上急性精神病，经历了6个月危及生命的抑郁症之后，感觉开始在好转了，重新恢复写文章。
他把自己的经历，以及对过去两年AI领域的反思分享出来，希望能够帮助到同样正在经受痛苦的人。
Felix Hill去世的消息由他的好友、纽约大学教授Kyunghyun Cho带来。
Kyunghyun Cho表示12月9日就写好了这篇悼文，但迟迟不敢发布，因为不想也不敢相信所发生的事。现在光是想到这件事，心仍然很痛。
无论是与他合作过，还是仅有一面之缘，又或是只读过他文章、听过他学术演讲的学者纷纷表示，这个消息令人心碎。
他留下讨论AI工作压力的文章，再次引起很多人共鸣。
Felix Hill不是职业生涯一开始就进入AI行业的。
2006年，他在牛津大学数学专业毕业后做过几年数学教师。2016年在剑桥大学获得计算语言学博士学位。
这期间他致力于教育，除了在高中教数学之外，也参加过非盈利组织，以及自己创办教育企业。
2016年加入DeepMind后一直工作了近9年。
除了研究之外，Felix Hill经常分享自己的思考，他会从语言学的角度分析Transformer。
他留下的最新一篇学术文章，是探讨Transformer中归纳偏置的作用，与Sutton的《苦涩的教训》相对，提出《苦乐参半的教训》。
Felix Hill认为，语言中局部依赖远比长距离依赖更为常见，依存句法分析器结果显示语言中依存关系分布严重偏向短距离。
但奇怪的是，RNN有表示局部依赖的归纳偏置，而Transformer在依赖长度上无偏好却在很多任务中表现更优。
他提议或许人们应该停止设计反映数据最常见模式的归纳偏置，一个好的通用模型很容易学到这些现象。
但只要计算、规模和数据有限，特定领域的偏置仍有必要设计，Transformer 的自注意力是一种有效的归纳偏置。
此外，他10年前第一次接触RNN时，在一次演讲中提出大胆的观点“语法不存在了”，以及神经网络语言模型给语言学带来的其他令人震惊的结论。
当时这个观点在学术界引起了一些争议，现在却常常被人回味。
最后附上Felix Hill探讨AI研究工作压力的文章整理翻译。
2000亿权重的责任人工智能领域在过去两年中发生了不可逆转的变化。
ChatGPT的月活跃用户接近2亿。Gemini在2024年5月访问量接近3.2亿次，AI爱好者现在可以享受AI微波炉、AI牙刷甚至AI足球。
然而，对于许多从事人工智能工作的人来说，这种公众兴趣的激增既是福也是祸。当然，薪资、股价和市值都上涨了。另一方面，这种变化也带来了一组独特的压力。
这篇博客是关于现代人工智能的压力，它面向那些工作与人工智能相关的人（保守估计现在约占世界人口的 87%），尤其是那些从事人工智能研究的人。
最终，我希望讨论是什么让AI研究变得有压力，能让那些有幸从事这一领域工作的我们生活更加快乐。因为，尽管目前混乱，它仍然是一项美好、充实的职业；一项有潜力解决科学、哲学乃至人类自身许多重大问题的职业。
无法逃脱几个月前，我在一个朋友的40岁生日聚会上。我们关系很好，所以我认识大部分客人，有些还非常熟悉。但并不是所有人都认识。
在那些我最不熟悉的人中，我注意到了一个奇特的现象。
尽管我身体不适（稍后详述），显然也不愿意交谈，但围绕我形成了一个小队伍。仅仅因为人们知道我在DeepMind工作，所以想要和我交谈。
并且聊的并非关于足球或80年代音乐等事物。这些人想要谈论的是我尽量避免思考的一件事：人工智能。
虽然很多人对我的工作感兴趣让我感到荣幸，但也让我意识到过去两年发生了多大的变化。银行家、律师、医生和管理顾问都想要了解我对ChatGPT的看法；尽管很少有人声称直接在自己的工作中使用这样的大模型，但他们确信人工智能领域正在发生一些他们应该了解的事情。
作为一名研究人员，我确信您能理解在社交场合无法放松的感觉。
但情况更糟。即使在自家的范围内，我也并不安全。
我已经很久不再看新闻，害怕引发焦虑。但即使在看足球、VH1电视频道、优秀电视剧改编，广告中也充满了对人工智能的提及。
在这个时候，我常常想收拾行李，穿越大陆，加入一个孤立的小团体。尽管在这个阶段，即使内观禅修在某种程度上被AI渗透，我也不会感到惊讶。
隐含竞争几家大型公司似乎在竞争开发最大、最好的大型语言模型，这一事实本身就有内在的压力；无论你为谁工作。
目前从事人工智能研究可能会感觉像是在参与一场战争，众所周知，战争可能导致严重的后果，包括精神错乱、离婚和自杀。
当然，这并不是将参与人工智能研究等同于“字面上的战争”中的身体战斗。但根据我自己的经验，这种相似性是真实的，尽管有些微弱。
关注底线通常，工业界的研究人员不习惯他们的工作直接且立即影响雇主的财务状况。
当然，许多研究人员都会梦想有机会产生这样的影响。只是之前这就像是十年一遇的事情。
在大多数情况下，今天对大模型的基础研究结果是小的，可能是模型性能的短期波动。然而，由于公众估值与大模型的表现紧密相连，这些波动反过来可能导致股价出现数十亿美元的波动。
这种动态当然非常紧张，这不是 AI 研究人员在研究生院、博士后期间，甚至 2022 年之前工作中准备好的事情。
钱、钱、钱大多数人工智能研究人员，尤其是我们这些年龄稍大的人，并没有为了赚钱而进入研究领域。
为热爱的工作赚取大量金钱听起来像是一种万能药，但它也可能引发强烈的焦虑。尤其是如果推动你收入增加的外部因素不在你的控制范围内，或者有让你不再像以前那样热爱工作的效果。
无论AI是否与此有关，都有充分的证据表明突然积累财富可能会导致各种问题；只需看看那些经过多年努力终于取得成功的演员或歌手。上瘾、破裂的关系、破碎的友谊甚至自杀只是其中一些更常见的症状。这些当然是我能够感同身受的症状。
没有科学家的位置规模、简洁性和大模型的有效性使得进行相关“科学”研究变得困难，即在意义上它立即使大模型变得更好。
领先的研究员们已经宣扬了Rich Sutton的《苦涩的教训》；事实是，在规模之外几乎不需要任何创新。
即使理论上可能实现实质性创新（这当然可能），实现它通常需要在大约1001个条件下进行反复训练。这甚至不是最大的公司都能承担得起的。对于一个“仅仅”是研究科学家的人来说，这可能感觉是无法解决的痛苦。
这些条件对于习惯于在小团队（5-10人）中工作的工业科学家来说很困难。但对于学术界的人来说，这些条件无疑更加严峻：博士生、博士后以及AI/CS/ML领域的教师。
发表尽管学术界的人士可以（并且应该）继续发表从实验大模型中获得的见解，但对于工业界的科学家来说，是否发表的问题并不那么明确。
发表一直是科学过程的一个内在组成部分，并且始终是人工智能研究的一个核心原则。我与大多数人工智能研究人员交谈过，尤其是研究科学家，他们都同意我的观点，认为发表是我们职业生涯的一个关键方面。
然而，在工业界至少，过去两年里，关于发表研究成果是否可行的问题变得越来越不明确。能够改善大模型的小技巧在大模型的竞争中可能成为至关重要的武器。是否将这些秘密公之于众对资助研究组织的利益总是个复杂的问题。
这所有的一切意味着研究人员往往对自己的想法的命运没有意识，至少在我个人的情况下，这可能导致巨大的压力。
初创企业当然，一种可能的摆脱这些担忧的方法是制定一个科学愿景，筹集一些资金并成立一家初创公司。事实上，目前AI初创公司（无论大小）的激增显示了有多少科学家选择了这条道路。
但成为创始人并不能保证避免与压力相关的问题。事实上，这众所周知是压力很大的；即使在当前投资者的热情水平下，许多资金充足的 AI 初创公司也失败了。我从自己的经历中知道，成为创始人是一条特别孤独的旅程。毫无疑问，对于有抱负的科学家来说，这是一个可行的选择，但这并不是一个能让科学研究变得容易的选择，也不是一个能减轻压力的选择。
为什么我选择写关于压力的博客？过去两年，人工智能领域混乱而疯狂，但对我来说，这也是一段特别动荡的时期。
2023年4月，我的母亲在与阿尔茨海默病长期斗争后去世。当时我因急性精神错乱正在精神病院接受治疗，压力可能是重要因素。
接下来的12个月里，理论上我在恢复，但实际上处于极度焦虑和自杀抑郁的状态。在这段时间里，我很幸运有理解我的情况（以及我对公司的价值）的雇主，他们提供了持续的治疗和精神支持。
经过6个月的危及生命的抑郁症之后，我开始感觉好转，最近能够写关于我的经历。我了解到压力和焦虑是相辅相成的；实际上，它们最终可能是同一件事。当然，像任何适应性特征一样，焦虑也可能带来好处（例如，提高生产力），但当焦虑变得恶性时，后果可能非常严重。
在反思过去两年的人工智能领域，同时尝试重新学习如何成为一名人工智能研究者时，我获得了在这篇博客中分享的见解。当然，分享这些见解并不能解决一般性的问题，但在我最黑暗的时刻，让我感到希望的少数事情之一是知道我并不孤单。如果你现在正在遭受痛苦，请相信我——你并不孤单。
社交焦虑我已经涵盖了目前可能困扰那些从事人工智能研究的人们的许多压力或焦虑的催化剂。但有一种压力我尚未提及，因为我很幸运从未亲身经历过。相反，我是通过与朋友和同事的亲密交谈了解到的。
这种压力形式是社会焦虑。
根据朋友的说法，那些社交焦虑的人觉得群体互动很困难。在当今人工智能领域，大型项目团队和大规模（通常是跨大陆）的合作是必不可少的，这更加困难。目前行业的高流动率只会使情况变得更糟，因为那些通常作为社交“安全网”的既定团队可能会在一夜之间被摧毁。流动率还可能导致信任问题，因为之前可靠的盟友可能会离开去加入“敌对”的研究团队。
好消息是，社交焦虑，就像我迄今为止讨论的所有焦虑或压力的表现一样，是可以克服的。这个过程始于培养家庭和“非 AI”朋友等自然支持网络。但对于我们所有在 AI 领域工作的人来说，一个关键的第二步是开始并持续进行关于压力的坦诚对话。
所以请分享您的个人经历，发文或评论，让我们看看能否让AI研究不仅成为一个充满活力和智力挑战的地方，而且还是一个充满同情和善良的地方。
参考链接：
[1]https://docs.google.com/document/u/0/d/1aEdTE-B6CSPPeUWYD-IgNVQVZM25f7MF-u9qn5KJJvo/
[2]https://kyunghyuncho.me/bye-felix/
阅读最新前沿科技趋势报告，请访问欧米伽研究所的“未来知识库”
未来知识库是“欧米伽未来研究所”建立的在线知识库平台，收藏的资料范围包括人工智能、脑科学、互联网、超级智能，数智大脑、能源、军事、经济、人类风险等等领域的前沿进展与未来趋势。目前拥有超过8000篇重要资料。每周更新不少于100篇世界范围最新研究资料。欢迎扫描二维码或访问进入。
截止到12月25日 ”未来知识库”精选的100部前沿科技趋势报告
2024 美国众议院人工智能报告：指导原则、前瞻性建议和政策提案
未来今日研究所：2024 技术趋势报告 - 移动性，机器人与无人机篇
Deepmind：AI 加速科学创新发现的黄金时代报告
Continental 大陆集团：2024 未来出行趋势调研报告
埃森哲：未来生活趋势 2025
国际原子能机构 2024 聚变关键要素报告 - 聚变能发展的共同愿景
哈尔滨工业大学：2024 具身大模型关键技术与应用报告
爱思唯尔（Elsevier）：洞察 2024：科研人员对人工智能的态度报告
李飞飞、谢赛宁新作「空间智能」 等探索多模态大模型性能
欧洲议会：2024 欧盟人工智能伦理指南：背景和实施
通往人工超智能的道路：超级对齐的全面综述
清华大学：理解世界还是预测未来？世界模型综合综述
Transformer 发明人最新论文：利用基础模型自动搜索人工生命
兰德公司：新兴技术监督框架发展的现状和未来趋势的技术监督报告
麦肯锡全球研究院：2024 年全球前沿动态图表呈现
兰德公司：新兴技术领域的全球态势综述
前瞻：2025 年人形机器人产业发展蓝皮书 - 人形机器人量产及商业化关键挑战
美国国家标准技术研究院（NIST）：2024 年度美国制造业统计数据报告（英文版）
罗戈研究：2024 决策智能：值得关注的决策革命研究报告
美国航空航天专家委员会：2024 十字路口的 NASA 研究报告
中国电子技术标准化研究院 2024 扩展现实 XR 产业和标准化研究报告
GenAI 引领全球科技变革关注 AI 应用的持续探索
国家低空经济融创中心中国上市及新三板挂牌公司低空经济发展报告
2025 年计算机行业年度策略从 Infra 到 AgentAI 创新的无尽前沿
多模态可解释人工智能综述：过去、现在与未来
【斯坦福博士论文】探索自监督学习中对比学习的理论基础
《机器智能体的混合认知模型》最新 128 页
Open AI 管理 AI 智能体的实践
未来生命研究院 FLI2024 年 AI 安全指数报告 英文版
兰德公司 2024 人工智能项目失败的五大根本原因及其成功之道 - 避免 AI 的反模式 英文版
Linux 基金会 2024 去中心化与人工智能报告 英文版
脑机接口报告脑机接口机器人中的人机交换
联合国贸发会议 2024 年全球科技创新合作促发展研究报告 英文版
Linux 基金会 2024 年世界开源大会报告塑造人工智能安全和数字公共产品合作的未来 英文版
Gartner2025 年重要战略技术趋势报告 英文版
Fastdata 极数 2024 全球人工智能简史
中电科：低空航行系统白皮书，拥抱低空经济
迈向科学发现的生成式人工智能研究报告：进展、机遇与挑战
哈佛博士论文：构建深度学习的理论基础：实证研究方法
Science 论文：面对 “镜像生物” 的风险
镜面细菌技术报告：可行性和风险
Neurocomputing 不受限制地超越人类智能的人工智能可能性
166 页 - 麦肯锡：中国与世界 - 理解变化中的经济联系（完整版）
未来生命研究所：《2024 人工智能安全指数报告》
德勤：2025 技术趋势报告 空间计算、人工智能、IT 升级。
2024 世界智能产业大脑演化趋势报告（12 月上）公开版
联邦学习中的成员推断攻击与防御：综述
兰德公司 2024 人工智能和机器学习在太空领域感知中的应用 - 基于两项人工智能案例英文版
Wavestone2024 年法国工业 4.0 晴雨表市场趋势与经验反馈 英文版
Salesforce2024 年制造业趋势报告 - 来自全球 800 多位行业决策者对运营和数字化转型的洞察 英文版
MicrosoftAzure2024 推动应用创新的九大 AI 趋势报告
DeepMind：Gemini，一个高性能多模态模型家族分析报告
模仿、探索和自我提升：慢思维推理系统的复现报告
自我发现：大型语言模型自我组成推理结构
2025 年 101 项将 (或不会) 塑造未来的技术趋势白皮书
《自然杂志》2024 年 10 大科学人物推荐报告
量子位智库：2024 年度 AI 十大趋势报告
华为：鸿蒙 2030 愿景白皮书（更新版）
电子行业专题报告：2025 年万物 AI 面临的十大待解难题 - 241209
中国信通院《人工智能发展报告（2024 年）》
美国安全与新兴技术中心：《追踪美国人工智能并购案》报告
Nature 研究报告：AI 革命的数据正在枯竭，研究人员该怎么办？
NeurIPS 2024 论文：智能体不够聪明怎么办？让它像学徒一样持续学习
LangChain 人工智能代理（AI agent）现状报告
普华永道：2024 半导体行业状况报告发展趋势与驱动因素
觅途咨询：2024 全球人形机器人企业画像与能力评估报告
美国化学会 (ACS)：2024 年纳米材料领域新兴趋势与研发进展报告
GWEC：2024 年全球风能报告英文版
Chainalysis：2024 年加密货币地理报告加密货币采用的区域趋势分析
2024 光刻机产业竞争格局国产替代空间及产业链相关公司分析报告
世界经济论坛：智能时代，各国对未来制造业和供应链的准备程度
兰德：《保护人工智能模型权重：防止盗窃和滥用前沿模型》-128 页报告
经合组织 成年人是否具备在不断变化的世界中生存所需的技能 199 页报告
医学应用中的可解释人工智能：综述
复旦最新《智能体模拟社会》综述
《全球导航卫星系统（GNSS）软件定义无线电：历史、当前发展和标准化工作》最新综述
《基础研究，致命影响：军事人工智能研究资助》报告
欧洲科学的未来 - 100 亿地平线研究计划
Nature：欧盟正在形成一项科学大型计划
Nature 欧洲科学的未来
欧盟科学 —— 下一个 1000 亿欧元
欧盟向世界呼吁 加入我们价值 1000 亿欧元的研究计划
DARPA 主动社会工程防御计划（ASED）《防止删除信息和捕捉有害行为者（PIRANHA）》技术报告
兰德《人工智能和机器学习用于太空域感知》72 页报告
构建通用机器人生成范式：基础设施、扩展性与策略学习（CMU 博士论文）
世界贸易组织 2024 智能贸易报告 AI 和贸易活动如何双向塑造 英文版
人工智能行业应用建设发展参考架构
波士顿咨询 2024 年欧洲天使投资状况报告 英文版
2024 美国制造业计划战略规划
【新书】大规模语言模型的隐私与安全
人工智能行业海外市场寻找 2025 爆款 AI 应用 - 241204
美国环保署 EPA2024 年版汽车趋势报告英文版
经济学人智库 EIU2025 年行业展望报告 6 大行业的挑战机遇与发展趋势 英文版
华为 2024 迈向智能世界系列工业网络全连接研究报告
华为迈向智能世界白皮书 2024 - 计算
华为迈向智能世界白皮书 2024 - 全光网络
华为迈向智能世界白皮书 2024 - 数据通信
华为迈向智能世界白皮书 2024 - 无线网络
安全牛 AI 时代深度伪造和合成媒体的安全威胁与对策 2024 版
2024 人形机器人在工业领域发展机遇行业壁垒及国产替代空间分析报告
《2024 年 AI 现状分析报告》2-1-3 页.zip
万物智能演化理论，智能科学基础理论的新探索 - newv2
世界经济论坛 智能时代的食物和水系统研究报告
生成式 AI 时代的深伪媒体生成与检测：综述与展望
科尔尼 2024 年全球人工智能评估 AIA 报告追求更高层次的成熟度规模化和影响力英文版
计算机行业专题报告 AI 操作系统时代已至 - 241201
Nature 人工智能距离人类水平智能有多近？
Nature 开放的人工智能系统实际上是封闭的
斯坦福《统计学与信息论》讲义，668 页 pdf
国家信息中心华为城市一张网 2.0 研究报告 2024 年
国际清算银行 2024 生成式 AI 的崛起对美国劳动力市场的影响分析报告 渗透度替代效应及对不平等状况英文版
大模型如何判决？从生成到判决：大型语言模型作为裁判的机遇与挑战
毕马威 2024 年全球半导体行业展望报告
MR 行业专题报告 AIMR 空间计算定义新一代超级个人终端 - 241119
DeepMind 36 页 AI4Science 报告：全球实验室被「AI 科学家」指数级接管
《人工智能和机器学习对网络安全的影响》最新 273 页
2024 量子计算与人工智能无声的革命报告
未来今日研究所：2024 技术趋势报告 - 广义计算篇
科睿唯安中国科学院 2024 研究前沿热度指数报告
文本到图像合成：十年回顾
《以人为中心的大型语言模型（LLM）研究综述》
经合组织 2024 年数字经济展望报告加强连通性创新与信任第二版
波士顿咨询 2024 全球经济体 AI 成熟度矩阵报告 英文版
理解世界还是预测未来？世界模型的综合综述
GoogleCloudCSA2024AI 与安全状况调研报告 英文版
英国制造商组织 MakeUK2024 英国工业战略愿景报告从概念到实施
花旗银行 CitiGPS2024 自然环境可持续发展新前沿研究报告
国际可再生能源署 IRENA2024 年全球气候行动报告
Cell: 物理学和化学 、人工智能知识领域的融合
智次方 2025 中国 5G 产业全景图谱报告
上下滑动查看更多
来源：人工智能学家