摘要：人工智能的发展并不会止步于人类水平。数以亿计的通用人工智能（AGI）能够自动化AI研究，将十年的算法进步（超过5个OOM）压缩到一年内。我们将迅速从人类水平跃升到远超人类的超级智能AI系统。超级智能的力量和潜在危险都将是巨大的。

今天继续翻译整理《SITUATIONAL AWARENESS》。
前两期内容包括：

本期主题：
II. From AGI to Superintelligence: The Intelligence Explosion

人工智能的发展并不会止步于人类水平。数以亿计的通用人工智能（AGI）能够自动化AI研究，将十年的算法进步（超过5个OOM）压缩到一年内。我们将迅速从人类水平跃升到远超人类的超级智能AI系统。超级智能的力量和潜在危险都将是巨大的。

OOM = order of magnitude/数量级，10x = 1数量级。

I.J. Good 在1965年曾写道：

“假设超智能机器被定义为能够远远超过任何聪明人类的所有智力活动的机器。因为设计机器本身就是这些智力活动之一，因此一台超智能机器可以设计出更好的机器；如此一来，毫无疑问会发生‘智能爆炸’，而人类的智能将被远远抛在身后。因此，第一台超智能机器将是人类最后需要创造的发明。” Let an ultraintelligent machine be defined as a machine that can far surpass all the intellectual activities of any man however clever. Since the design of machines is one of these intellectual activities, an ultrAIntelligent machine could design even better machines; there would then unquestionably be an ‘intelligence explosion,’ and the intelligence of man would be left far behind. Thus the first ultraintelligent machine is the last invention that man need ever make.

这段话奠定了关于智能爆炸和超级智能潜力的基础理论。

在大众想象中，冷战时期的恐惧主要源于洛斯阿拉莫斯实验室的原子弹发明。然而，单单“原子弹”或许被高估了。从“原子弹”到“氢弹”的跃迁也同样重要。

与之相似，从AGI到超级智能的飞跃亦是如此。

AlphaGo 是如何从人类水平跃升到超人水平的？起初，它通过学习顶尖人类棋局的历史数据达到专家水平。然而，它的突破来自于与自身对弈：这一过程产生了超乎人类想象的创意与复杂棋步——这是人类永远不会设计出的策略。

这不仅是一个里程碑，更是一个隐喻：从 AGI 到超级智能可能遵循类似的路径。

在之前的讨论中，我们探讨了通向 AGI 的路径。一旦 AGI 实现，下一步的进化将更加迅速：可能只需再一次、两次，甚至三次的迭代，AI 就会从 AGI 跃升到超级智能，成为远超人类的存在。

它的能力差距可能与以下情形相似：

AI 进步的速度已经很快，但一旦 AI 开始自动化自身的研发，进展速度可能会超出我们的预期。AI 研究的突破，往往并非复杂的概念，而是“直接且可操作的创新”：

假设：

然而，这个过程可能更快：

这些 AGI 即使不能走路或泡咖啡，但它们可以在计算机上进行机器学习研究。相比目前顶尖 AI 实验室的数百位研究员，AGI 的规模可以是现状的 10万倍。

递归自我改进曾是科幻小说中的设想，但它的基本逻辑并不需要复杂的假设。AGI 不需要构建新的科学框架，只需将当前算法进步的趋势加速即可。例如：

自动化 AI 研究将可能将人类十年的算法进步压缩到一年甚至更短——这一预测已属保守估计。这意味着：

瓶颈具体问题潜在突破结果计算资源的限制算力不足，无法同时支持大规模实验和推理工作。- 优化实验设计，避免无效计算
- 集中资源于高价值实验
- 利用更小规模实验探索突破点
- 算法优化（如 Chinchilla 缩放法则）提高效率
- 自动化研究员以更高效方式分配资源- 计算资源的有效利用可实现 10 倍以上效率提升，即使算力不足也能推动显著进展。不完全自动化与长尾问题自动化的初期阶段可能只能完成 70%-90% 的任务，人类研究员依然是瓶颈。- 不断优化模型架构与算法，逐步消除“最后 10%”的任务限制
- 通过半自动化“辅助手段”加速研究效率，逐步减少人类干预需求- 自动化研究员从“原型阶段”到完全自动化可能需要 1-2 年 的额外时间，但智能爆炸仍然会发生。算法进步的固有限制算法效率可能存在上限，进一步突破变得困难。- 当前算法架构仍然相对初级，可探索更多优化可能
- 从生物系统中获得灵感（如脑神经优化方案）
- 新型模型架构和训练方法可能推动新的跃迁- 假设目前存在上限，但仍有 5 个数量级的提升空间，算法进步的趋势短期内不会停止。思想获取难度增加“低垂果实”被摘尽后，新发现变得更困难，仅能维持当前的进步速度。- 自动化研究员共享知识，整体规模扩大 百万倍
- “去解锁”更多潜在的低垂果实，通过平行探索找到未被发现的领域
- 经验和直觉积累超越人类- 自动化研究员的规模效应和超人类速度可克服这一瓶颈，实现更快进展。收益递减随着算法改进变得更难，智能爆炸可能仅限于初期的快速进展，随后递减。- 初期大幅扩展（从数百研究员到数百万研究员）至少保证数个数量级的突破
- 自动化研究员初期足以克服递减效应
- 目标锁定于多领域协同进步（不仅限于 ML）- 智能爆炸的时间窗口可能不会无限持续，但 足够实现超级智能。

尽管存在多个可能的瓶颈，但它们似乎不足以显著减缓超级智能的到来。因此，智能爆炸可能远快于我们的想象。

到本世纪末，AI 系统可能在以下方面具备不可想象的定量超越：

更重要的是，超级智能在定性上会超越人类：

要想直观感受这种超乎想象的情景，不妨看看一些 YouTube 上的视频游戏速通视频，比如这个 “20 秒通关《我的世界》” 的案例。

20 秒通关《我的世界》——如果你完全看不懂视频在做什么，请放心，你并不孤单；即使是大多数普通玩家也完全无法理解其中的操作。

智能爆炸最初局限于 AI 自身的研究与开发。随着超级智能的能力扩展，它将推动以下领域的全面变革：

超级智能的出现类似核技术发展的早期阶段：

一旦超级智能出现，其力量将难以估量：

超级智能的出现将成为人类历史上最剧烈和最不稳定的时刻之一。这不仅是科技革命的顶点，更是人类文明在力量与风险之间的平衡之战。我们可能会迎来：

来源：ChatGPT扫地僧