Google 的第三代Dreamer算法，真的在《我的世界》里找到了钻石

摘要：其实不止《我的世界》中的钻石任务，Dreamer 3 算法在150余个不同类型控制任务中的表现都非常出色，不同于其他的强化学习算法，不同环境下都需要重新训练或大量人工干预，Dreamer 3不需要调整数据和参数，只需要一套固定的参数配置就可以完成不同环境下的不

玩过《我的世界》的同学都知道，钻石是这款游戏中最稀有的物品之一，产量低，找寻复杂，即使准备充分，玩家更多的时候也得靠运气。

在搜索引擎中搜索“我的世界如何快速找到钻石”，会发现有1000万+的内容量，可见“找钻石”应该算是《我的世界》玩家的头号大事了。

但就是这样一个必须靠运气加成才能完成的事情，Google的Dreamer3在不利用任何数据，仅凭强化学习就完成了。

其实不止《我的世界》中的钻石任务，Dreamer 3 算法在150余个不同类型控制任务中的表现都非常出色，不同于其他的强化学习算法，不同环境下都需要重新训练或大量人工干预，Dreamer 3不需要调整数据和参数，只需要一套固定的参数配置就可以完成不同环境下的不同类型任务。

计算机科学家杨立昆（LeCun Yann）前段时间在讲世界模型时认为，未来模型的基础不是token，而是要像人一样去理解世界。

人类之所以能够掌握多种技能，很大程度上是因为我们有能力在头脑中模拟动作的结果，预测未来可能发生的情况，然后据此调整自己的行为。这种"在脑中预演"的能力是我们适应性学习的关键。

Dreamer 3算法就是类似这样的工作机制，在不利用任何先验数据的情况下，仅通过强化学习激励就形成了世界模型，具备在不同环境下脑补“未来”，感知和适应世界的能力。

研究背景：十年磨一剑的"世界模型"探索

Dreamer 3由Google DeepMind和多伦多大学的研究团队共同完成，论文于2025年4月2日在《自然》杂志上正式发表，并于2025年4月17日作为第640卷的一部分出版。

研究延续了团队在"世界模型"领域的长期积累——从2019年第一代Dreamer专注机器人控制，到第二代征服雅达利游戏，再到如今第三代实现跨领域通用。

团队选择《我的世界》作为终极试验场也绝非偶然。这款沙盒游戏被AI研究者称为"数字版荒野求生"：玩家需要在地下矿洞探索、合成工具、应对突发危险，整个过程涉及长链条决策和稀疏奖励。此前最接近成功的VPT算法需要观看70000小时人类游玩视频，而Dreamer3仅凭游戏画面和基础操作指令，就完成了从零开始自主学习的过程。

核心成果：会"做梦"的AI

Dreamer3算法的核心成果可以用一个简单的比喻来解释：它就像是一个会"做白日梦"的AI。当我们人类学习新技能时，比如学习骑自行车，我们不仅仅是通过实际尝试来学习，还会在脑海中想象自己骑车的场景，预测可能的结果，然后据此调整自己的行为。

Dreamer3算法正是模拟了这种人类的学习方式。

Dreamer算法由三个关键组件组成：世界模型、“评论员”和“执行者”。

世界模型负责预测未来，理解眼前的场景并根据行动预测未来画面。就像是一个能够想象"如果我这样做会发生什么"的大脑。当Dreamer看到一个场景时，它不只是被动地反应，而是主动地预测接下来可能发生的事情。这个世界模型通过观察环境的变化来学习，逐渐建立起对世界运作方式的理解。

“评论员”则像是一个内部顾问，它的工作是评估不同行动的价值，为每一种想象中的未来画面打分。这帮助算法区分好的行动和坏的行动。

“执行者”根据世界模型的预测和“评论员”的评分，选择最有可能带来好结果的行动。

就像你在玩一款策略游戏时，先预见下一步敌人可能出现的位置，再衡量哪一步能获得最大优势，最后才按下操作键。与以往需要在每个新任务上重新调参不同，Dreamer3 把“想象”与“评估”与“决策”三者融合到一起，并且通过一系列稳健化技巧，让这套流水线在各种不同的场景中都能保持稳定的表现。

这三个组件协同工作，形成了一个强大的学习系统，能够在150多种不同的任务中表现出色，而且只需要一套固定的参数配置。这就像是一个人不需要为每项新技能重新调整自己的学习方法，而是用同一套学习策略掌握了弹钢琴、骑自行车和游泳等完全不同的技能。

Dreamer3算法的一个突破性成就是在Minecraft游戏中收集钻石。

在Minecraft中收集钻石需要完成一系列复杂的子任务：找到木头、制作工具、挖掘石头、寻找稀有矿物等等。每个子任务本身就很复杂，而且它们之间存在长期的依赖关系——你必须先完成前面的任务才能进行后面的任务。

Dreamer3完全是从像素输入开始学习的，没有任何人类示范数据或预设课程。这就像是一个婴儿被放在一个复杂的世界中，仅通过观察屏幕上的像素变化，就学会了完成一系列复杂的任务。在100小时的训练后，Dreamer3能够在Minecraft中找到钻石，这在以前是无法想象的。

Dreamer3算法的另一个重要成就是它在各种基准测试中的表现。

研究团队在8个不同领域的测试中评估了Dreamer3，包括Atari游戏、机器人控制、视觉控制等。结果显示，Dreamer3不仅能够匹配专门为这些领域设计的算法的表现，在许多情况下还能超越它们。这就像是一个全能运动员，不仅能在自己擅长的项目中获胜，还能在各种不同的运动中击败专业选手。

Dreamer3实现了这些成就的方式非常高效。与其他需要大量计算资源的算法相比，Dreamer3能够在有限的资源下取得优异的结果。在某些基准测试中，它的数据效率提高了1000%以上，这意味着它能够用更少的尝试次数学到更多的知识。

方法评析：稳定学习的秘密配方

Dreamer3的世界模型是如何工作的？

想象你正在学习打篮球，你不会每次投篮都完全随机，而是会根据之前的经验来调整姿势。

Dreamer3的世界模型就像是一个内部模拟器，它通过观察环境的变化来学习"物理规则"。

这个模型由几个关键部分组成：

序列模型就像是Dreamer3的记忆系统，它记住了环境是如何随时间变化的。就像你记得"如果我这样投篮，球会沿这样的轨迹运动"。

编码器和解码器则负责将复杂的感官输入（如图像）转换为更简单的表示，再从这些表示重建原始输入。这就像是你看到篮球场的复杂场景，但大脑会自动提取关键信息：篮筐的位置、其他球员的站位等。

动态预测器预测下一个状态，奖励预测器预测可能获得的奖励，而继续预测器则预测任务是否结束。这三个组件共同工作，使Dreamer3能够在脑海中"模拟"未来可能发生的情况。

Dreamer3的一个关键创新是它如何处理不同规模的信号。

在现实世界中，不同的信号有不同的重要性和规模。比如在驾驶时，路上的行人比路边的树更重要；在烹饪时，火候的控制比厨房的温度更关键。Dreamer3使用了一种叫做"symlog"的技术来处理这个问题。

想象你是一个音乐制作人，需要调整不同乐器的音量。有些乐器声音很大，如鼓，有些则很轻，如三角铁。如果你简单地放大所有声音，鼓声可能会过于震耳欲聋，而三角铁的声音可能仍然微不可闻。Dreamer3的symlog函数就像是一个智能音量调节器，它能够适当地放大小信号，同时防止大信号过度放大，使得所有信号都能被合理地处理。

Dreamer3的另一个重要的技术是自由位（free bits）。这个概念可能听起来很抽象，但可以用一个简单的比喻来解释：想象你正在学习一门新语言，有些单词你已经掌握得很好，而有些则还很陌生。自由位就像是允许你在学习过程中对那些陌生的单词给予更多的注意力，而不是平均分配注意力到所有单词上。这使得Dreamer3能够更有效地学习那些它还不太了解的环境特征。

Dreamer3在“评论员”学习方面也有创新。传统的强化学习算法通常假设奖励是立即可见的，就像是你投篮后立刻知道是否得分。但在许多实际问题中，奖励可能是延迟的，就像是你现在的学习可能要等到几年后才能看到职业上的回报。Dreamer3通过想象未来可能的轨迹，计算长期回报，从而解决了这个问题。

在“执行者”学习方面，Dreamer3使用了一种固定的熵正则化器。这听起来很复杂，但实际上就像是在学习过程中保持一定程度的探索。想象你在一个新城市寻找最好的餐厅。如果你只去评分最高的餐厅，你可能会错过一些尚未被发现的美食。Dreamer3的熵正则化器就像是确保算法不会过早地固定在一种行为模式上，而是继续探索新的可能性。

Dreamer3算法的一个显著优势是它的稳健性。在强化学习中，一个常见的问题是算法可能在某些环境中表现良好，但在稍有变化的环境中就完全失效，Dreamer3通过一系列的正则化技术，如归一化、平衡和变换，使得算法能够在各种不同的环境中稳定学习。

当然，Dreamer3也有其局限性。

它的世界模型需要足够的数据来学习环境的动态特性。在数据极其稀少的情况下，Dreamer3可能无法建立准确的世界模型。

虽然Dreamer3在许多任务上表现出色，但在某些特定类型的问题上，专门设计的算法可能仍然有优势。Dreamer3的计算复杂度相对较高，这可能限制它在资源受限的设备上的应用。

但不可否认Dreamer3提供了一种更加通用和稳健的学习范式，使AI系统能够更接近人类那样灵活地学习和适应新环境。

结论：通向通用人工智能的基石

Dreamer3的真正价值在于证明了"世界模型"的通用潜力。

通过将"想象"能力引入AI系统，研究团队创造了一种能够在多种不同任务中表现出色的通用算法。这项研究的意义远不止于解决特定的技术问题，它为我们思考AI系统如何学习和适应提供了新的视角。

Dreamer3算法大大提高了数据效率。传统的强化学习算法往往需要数百万次甚至数十亿次的尝试才能掌握复杂任务，这在实际应用中是不切实际的。想象一个机器人需要摔倒数百万次才能学会走路，或者一个自动驾驶系统需要发生数百万次事故才能学会安全驾驶。Dreamer3通过在内部模型中进行想象性规划，大大减少了与环境交互的需求，使得学习过程更加高效。

同时Dreamer3展示了跨领域泛化的能力。在AI研究中，一个常见的问题是算法往往只在特定类型的任务上表现良好。就像是一个只会下围棋的AI，换成国际象棋就完全不会玩。Dreamer3打破了这种局限，它能够在从Atari游戏到机器人控制，再到Minecraft这样复杂的3D环境中都表现出色。这种通用性对于构建能够在现实世界中适应多种情况的AI系统至关重要。

Dreamer3的方式表明，模型驱动的方法可能是解决复杂强化学习问题的关键。

与直接从经验中学习的方法相比，通过建立世界模型并在这个模型中进行规划的方法能够更好地处理长期依赖和稀疏奖励的问题。这就像是人类学习复杂技能时，不仅仅依靠试错，还会在脑海中模拟和规划。

从应用场景来看，Dreamer3算法的潜力是巨大的。

在机器人领域，它可以帮助机器人更快地学习复杂的操作任务，如抓取不规则物体或在复杂环境中导航。

在自动驾驶领域，它可以使系统更好地预测其他道路使用者的行为，并做出更安全的决策。

在游戏和虚拟环境中，它可以创造出更智能、更适应性强的AI角色。

在医疗领域，类似Dreamer3的算法可以帮助预测患者对不同治疗方案的反应，从而制定个性化的治疗计划。

在气候科学中，它可以用于模拟和预测复杂的气候系统，帮助我们更好地理解和应对气候变化。

至顶AI实验室洞见

Dreamer3在《我的世界》这样复杂的环境中，能够完成快速的找到并且收集钻石的任务，在我们看来，这不仅是技术上的成功，更是概念上的胜利。

即使在高度复杂、长期规划和稀疏奖励的环境中，基于模型的方法也能取得成功。这打破了强化学习只适用于简单、即时反馈环境的刻板印象。

它改变了我们思考AI学习方式的角度，传统的强化学习研究过于关注如何在特定环境中最大化奖励，而忽视了学习过程的效率和通用性。这就像是我们教一个孩子下棋，只关注他能赢多少盘，而不关心他是否真正理解了游戏的策略，以及能否将这些策略应用到其他游戏中。