摘要：可微分逻辑元胞自动机是一种突破性计算模型，解决了元胞自动机领域数十年来的核心难题：如何从目标模式逆向设计局部规则。融合神经元胞自动机的学习能力与可微分逻辑门网络的离散特性，这一创新方法能以完全可微分方式自主推导规则，同时保留元胞自动机的离散本质。这一跨学科突破
摘要
可微分逻辑元胞自动机是一种突破性计算模型，解决了元胞自动机领域数十年来的核心难题：如何从目标模式逆向设计局部规则。融合神经元胞自动机的学习能力与可微分逻辑门网络的离散特性，这一创新方法能以完全可微分方式自主推导规则，同时保留元胞自动机的离散本质。这一跨学科突破可能是迈向理论计算物质“Computronium”的关键一步，为未来计算描绘出能学习、支持本地处理且基于离散架构的新范式。关键词：元胞自动机、可微分逻辑网络、逆向规则设计、计算物质（Computronium）、离散计算架构、神经元胞自动机作者：思无涯
想象一下这样的场景：
你需要逆向推演，从简单的规则中，寻找那些涌现出的复杂模式与行为。这些看似随机的行为背后，隐藏着深层的规律。这一挑战数十年来始终吸引着从事元胞自动机研究的学者与爱好者。
在元胞自动机领域，传统的方法是自下而上：先设定局部规则，再观察由此产生的全局的涌现模式。现在，设想一下我们可以构建这样一种新型系统：在给定某种复杂系统的目标模式时，它能够以完全可微分的方式，自主推导生成该模式的局部规则，同时完美保留元胞自动机固有的离散特性。那将意味着什么？这正是今天我们要共同揭开的谜题。
学习电路细节展示
由学习电路生成的“G”符号
先前研究曾尝试运用不可微技术来学习转换规则[1]，从而验证了通过局部规则演化实现特定计算的可行性，同时，学界也对一维元胞自动机的可微改造进行了初步探索[2]。基于此，我们提出了一种全新的端到端可微方法，融合了两大关键概念：神经元胞自动机（NCA）[3]与可微分逻辑门网络[4][5]。神经元胞自动机具备学习任意模式与行为的能力，但其状态空间本质并非离散，这使得系统更难以被解读，同时，由于需要逐步更新其连续内部状态，当前的硬件不得不执行代价高昂的矩阵运算。可微分逻辑门网络已被用于发现组合逻辑电路，将离散状态与可微分训练信号相结合。虽然，它们尚未在递归环境中得到验证。但神经元胞自动机（NCA）在空间和时间上都是递归的。这样的组合听起来，就非常吸引人。
从更宏观的视角来看，我们认为可微分逻辑门与神经元胞自动机的结合，可能是迈向可编程物质（Computronium）的一步。Computronium [6]是一种理论上能够执行任意计算的理论物理物质，可以成为“计算物质（Computronium）”。Toffoli 和 Margolus 曾通过 CAM-8 这一基于元胞自动机的计算架构开创了这一方向，该架构[7][8]理论上能够实现大规模、水平可扩展的计算。然而，核心难题始终悬而未决：如何实际设计出实现特定宏观计算所需的局部规则。正如 Amato 等人所指出的，“学界仍在为寻找对应真实自然系统的局部规则而困扰”[6]。如果我们能够直接学习这些局部规则，并创建出结合了二进制逻辑、神经网络的灵活性以及元胞自动机局部处理能力的模型，会怎样？我们相信，我们的原型系统已勾勒出未来计算的雏形：它能够学习，支持本地处理，且采用离散架构。
本文将逐步指导你实现可微分逻辑门的元胞自动机，并展示关键研究成果。
我们面临两个根本性问题：
❓可微分逻辑元胞自动机能学习吗？
为了回答这个问题，我们将从康威的生命游戏（Conway's Game of Life）入手。生命游戏或许是几十年来最经典的元胞自动机，其简单性（在功能上等同于学习一个真值表）将帮助我们验证所提出框架的基本学习能力。接下来是一个更深刻的问题：
❓在空间和时间上均具有递归特性的电路，能否学习到与传统神经元胞自动机生成的复杂模式类似的结果？
虽然可微分逻辑门网络和神经元胞自动机都已展现出可训练性，但在可微分逻辑框架下，如何有效训练出兼具时间递归和空间递归特性的电路，仍然是一个未被探索的领域。
第二个实验将展示该模型学习递归电路的能力，这些电路能够生成与传统神经元胞自动机相似的复杂模式。
回顾：神经元胞自动机
本项目的核心是神经元胞自动机（NCA）。它巧妙融合了经典元胞自动机与现代深度学习技术。这一范式由Mordvintsev等人[3]开创，彻底颠覆了对计算系统的传统认知。这类系统具备生长、适应并自我组织的能力。
传统元胞自动机因其能够从简单的局部规则生成复杂行为而长期吸引着研究者。神经元胞自动机则通过梯度下降使这些规则可学习，进一步拓展了这一概念。系统不再依赖人工设计，而是自动发现规则，从而为自组织计算系统开辟了全新的可能性。
这种方法的独特之处在于，它在保留元胞自动机核心原则的同时--局部性、并行性和基于状态的计算，引入了神经网络的适应性。
在接下来的章节中，我们将简要总结《生长型神经元胞自动机》[3]一文中的主要概念，该研究提出了一种用于形态发生的神经元胞自动机。如果您已熟悉相关内容，可以跳过这一部分。
结构：二维网格中的智能元胞该系统的核心是一个二维网格，类似于经典元胞自动机。每个元胞包含一个 n 维信息向量，称为元胞状态（或通道）。在生长型神经元胞自动机（Growing-NCA）的具体案例中，状态向量由以下元素组成：
RGB 颜色（3 个通道）：表征元胞的可见属性，即其颜色。
Alpha（α）通道（1 个通道）：表示元胞的活力。如果 Alpha 值大于 0.1，则元胞被视为“存活”。
隐藏通道（n -4 个通道）：这些通道允许元胞传递关于其环境的更复杂信息，从而使交互更加丰富和动态。
但精髓不止于此。系统的核心突破在于：元胞通过两阶段机制完成互动，并在过程中持续演化。
两阶段更新机制：感知与更新感知阶段在第一阶段，每个元胞会感知周围环境。这一过程类似于元胞对所处世界进行“扫描”。为此，它使用索贝尔滤波器（Sobel filters）——这种数学工具，能够对空间梯度进行数值近似，即“环境中的数值变化”。滤波器按通道分别应用，生成的结果称为感知向量（perception vector）。该向量不仅整合了元胞的当前状态，还结合了环境数据，其原理类似于生物元胞借助化学梯度感知并响应外界变化。
更新阶段在第二阶段，神经网络开始介入。每个元胞将感知向量输入神经网络，神经网络对网格中的每个元胞执行相同的操作。通过约8000个参数，神经网络根据元胞收集到的信息决定每个元胞应如何变化。正是在这一阶段，系统得以演化，元胞适应并响应环境的变化。
生长型神经元胞自动机（Growing NCA）的学习过程，图片来源：Mordvintsev 等人[3]。
可微分的力量系统的强大之处在于可微分(differentiability)。从感知环境到状态更新，每个步骤都可微分。这意味着整个系统能够通过梯度下降进行优化。其运作方式与神经网络学习数据的方式相同。因此，系统无需预设固定规则。它能真正学习到特定模式或行为。这使它成为模拟复杂系统的有力工具。
NCA生长过程。图像来源：Growing Neural Cellular Automata A. Mordvintsev, E. Randazzo, E. Niklasson, M. Levin.Distill. 2020.
尽管该系统的各个组成部分（如索贝尔滤波器和神经网络）相对简单，但它们的组合却创造出了更为复杂的结果。这是一种简单与复杂之间的平衡，类似于自然界中的生物系统，局部相互作用最终涌现出惊人的复杂行为。
这种方法不仅拓展了元胞自动机的应用边界，还通过局部相互作用，实现学习、生长与模式形成的可能。无论您是研究人员、开发者，还是对人工智能与复杂性交叉领域充满兴趣的人，这里都有许多值得探索的内容。
神经元胞自动机的其他应用还包括图像分割[9]、图像分类[10]等。
回顾-可微分逻辑门网络
如果我们可以将计算的基本构建模块（如与门、或门和异或门等逻辑门）以动态学习的方式组合起来，以解决某些任务，会怎样？这正是深度可微逻辑门网络（DLGNs）所实现的，巧妙融合了数字电路的高效性与机器学习的能力。这一框架由Petersen团队[4][5]开发，在资源受限的场景（如边缘计算、嵌入式系统）中，展现出突破性的潜力。
卷积可微分逻辑门网络示意图，图片由Petersen团队提供。Convolutional Differentiable Logic Gate NetworksF. Petersen, H. Kuehne, C. Borgelt, J. Welzel, S. Ermon.NeurIPS. 2024.
深度可微分逻辑门网络如何工作？逻辑门作为神经元深度可微分逻辑门网络（DLGNs）的核心，在于用逻辑门取代神经网络的传统人工神经元。在这种情况下，每个节点都是一个逻辑门，不进行加权求和与矩阵乘法，仅执行AND、OR、XOR等基础操作。
架构：DLGN的架构极为简明：
网络由多层逻辑门组成：每个逻辑门从前一层的两个逻辑门接收输入，从而形成一个天然稀疏的网络。
逻辑门之间的连接是固定的：初始化时随机设定，但在训练过程中不会改变。学习过程决定每个逻辑门的功能，而非逻辑门之间的连接。
推理时，每个逻辑门根据其学习到的操作，执行单一二元操作（如AND或OR）。
与传统神经网络学习权重不同，该网络学习每个逻辑门应执行何种逻辑运算。在训练过程中，每个节点通过解决分类任务来确定应使用何种逻辑门，从而最小化目标函数。
然而，挑战在于逻辑门本质上是离散且不可微分的，这使得它们不适合基于梯度的学习。那么，我们如何让它们学习呢？通过两个关键技巧：
连续逻辑运算在训练过程中，每个逻辑运算被替换为一个连续化处理（ continuous relaxation），这是一个可微分的版本，可处理 0 到 1 之间的连续值。例如，我们不再使用仅接受 0 或 1 的硬与门，而是使用一个软与门，输入0到1之间的值，输出两个连续混合结果。这些连续化处理（如下所列）使我们能够使用梯度下降来训练网络。
概率门选择每个逻辑门都维持着一个概率分布，涵盖了两种输入的16种可能组合，均为二元运算。这一分布由一个16维的参数向量表示，并通过_softmax_函数转换为概率分布。在训练过程中，16维向量的值会不断被调整。随着时间推移，逻辑门逐渐学会优先选择特定的运算。
在训练过程中，网络使用逻辑运算的连续化处理版本，网络训练完成，切换至纯二进制运算，这样可以实现闪电般的推理速度。
单个门训练示意图
为了提升训练稳定性，逻辑门的初始分布偏向于直通门（pass-throughgate）。
训练：学习逻辑门训练过程遵循标准的前向-反向传播机制：
1. 前向传播
a.输入值在网络中逐层传播。
b.每个逻辑门接收两个输入后，使用连续化处理版本，计算全部16种可能逻辑运算的结果。
c.这些结果根据逻辑门的概率分布进行加权，其加权和即为该逻辑门的输出。
2. 反向传播
a.网络计算关于概率分布的梯度，然后使用梯度下降法更新这些分布。
b.随着训练进行，每个逻辑门的分布逐渐变得更加集中，并自发地收敛到某一种单一运算操作，可能是AND、OR、XOR或者其他运算。
推理：二元运算的精妙训练完成后，网络将被冻结。这意味着每个逻辑门稳定在最高概率的操作，逻辑运算的连续形式被丢弃，最终得到处理二进制值（0或1）的纯逻辑电路。
这种最终形式具有令人难以置信的效率。在部署阶段，网络仅使用二元运算运行，这使得它在任何硬件上都能达到异常快速的运行速度。
可微分逻辑元胞自动机
将可微分逻辑门网络与神经元胞自动机相结合，提供了一种在保持可微分性的同时处理离散状态的解决方案。
我们将深入剖析这一体系，对比其与传统神经元胞自动机的差异，梳理两者共有的基本原理，并理解可微分逻辑门的基础作用。我们将借用神经元胞自动机(NCA)的术语体系，重点突出我们模型的差异之处。
结构：由智能二值元胞构成的二维网格与神经元胞自动机(NCA)类似，该系统构建于二维元胞网格之上，其中每个元胞的状态由n维二值向量表示。这个二值状态向量充当元胞的工作存储器，存储来自先前迭代的信息。在本文中，元胞状态与通道可以互换使用。
双阶段更新机制：感知与更新每个核函数以通道为单位运算，计算中心元胞与其邻居之间的交互作用，模拟元胞自动机在摩尔邻域内的相互作用。这个3×3的区块展示了一个状态维度为3的情况。电路的连接方式旨在处理中心元胞与周围元胞之间的交互作用。第一层包含8个逻辑门，每个逻辑门将中心元胞作为其第一输入，并将一个相邻元胞作为其第二输入。
给定状态维度为4且具有2个核函数的元胞，其更新步骤的表示图。
感知阶段在元胞自动机系统中，每个元胞必须感知其环境。传统神经元胞自动机(NCA)使用Sobel滤波器来进行感知建模，而可微分逻辑元胞自动机(DiffLogic CA)则采用不同的方法。每个核函数都是一个独特的电路，其中连接以特定结构固定，但逻辑门参数是通过学习获得的。核函数计算按通道进行。每个电路采用四层结构，其连接设计用于计算中心元胞与其相邻元胞之间的交互作用，如右图所示。输出维度是核函数数量与通道数量的乘积。替代方法涉及每个通道具有多位输出的核函数，而非仅一位，这在某些情况下可改善收敛性。其他方案采用多比特内核，每个通道输出超过一比特，这在某些情况下能提升收敛效率。
更新阶段更新机制遵循神经元胞自动机(NCA)的范式，但采用可微分逻辑网络来计算每个元胞的新状态。网络连接可以随机初始化，也可以特定结构化以确保所有输入都包含在计算中。更新后的状态是通过将可微分逻辑门网络应用于元胞先前的记忆（图中灰色表示）和从其邻居接收的信息（图中橙色表示）的拼接而确定的。在标准神经元胞自动机中，此时会增量更新状态，将整个系统视为常微分方程(ODE)处理。而在可微分逻辑元胞自动机(DiffLogic CAs)中，我们直接输出新状态。
总而言之：感知阶段使用逻辑门网络处理二值邻域状态，取代传统的基于卷积滤波器的操作；而更新规则则实现为另一个逻辑门网络，该网络将感知输出和当前状态作为输入，并输出元胞的下一个二值状态。
4×4可微分逻辑元胞自动机网格示意图。在每个时间步，每个元胞读取并处理存储在其相邻元胞状态中的信息，然后更新自身状态。
上图示意性地表示了一个4×4的可微分逻辑元胞自动机(DiffLogic CA)网格，每个小方格都是一个具有双重记忆系统的微型计算单元。我们将这两个寄存器分别可视化为灰色和橙色。网格中的每个元胞执行两步过程，我们稍后将看到，这个过程可以同步执行，或在某些情况下异步执行：
步骤1：感知阶段
首先，网格中的每个元胞都成为数据采集器。它们检查邻近元胞的灰色寄存器，处理观察到的信息，并将结果存储在自身的橙色寄存器中。
步骤2：更新阶段
随后，每个元胞转变为决策者。它们同时使用两个寄存器的数据，包括原始灰色寄存器与新填充的橙色寄存器。据此计算出新状态，并将新状态写入灰色寄存器。橙色寄存器随即清空，为下一轮感知做好准备。
整个系统如同独立微型计算机组成的网络。各元胞与邻近元胞保持通信，基于观测结果自主决策。每个元胞都是庞大互连网格中的微型处理器，通过简单局部交互协同工作，共同完成复杂计算。我们结合本地连接与分布式处理，构建出能够利用群体行为涌现，解决复杂任务的系统。
我们再次发现，Toffoli与Margolus提出的“可编程物质”（Programmable Matter）和“计算物质（Computronium）”与本研究有密切关联。们提出的CAM-8[7][8]是一种基于元胞自动机的计算机架构，与上文所述的系统类似：每个元胞使用DRAM芯片存储状态变量，借助SRAM芯片进行运算处理。
CAM-8架构及图像来自马尔格鲁斯团队。
实验一：学习生命游戏
康威生命游戏是一种精妙的数学模拟，展现了简单规则如何涌现出复杂图景。数学家John Conway于1970年创立了这一游戏，它并非传统意义上的游戏——而本质上是一种元胞自动机。网格中的元胞生死存亡，仅由四条基本规则支配。尽管规则简洁，却能演化出令人惊叹的现象：既有稳固的结构，也有动态的模式，宛如自主生命般运作。
康威生命游戏的模拟
这个康威生命游戏的规则优雅而简单，专注于每个元胞如何与其周围的八个邻居元胞互动：
存活：一个死亡元胞（当前值为0）若恰好有三个活的邻居，会在下一代中复活，类似于繁殖。
存活：一个活的元胞（当前值为1）若有两个或三个活的邻居，会存活到下一代，这代表一个平衡的环境。
生命数量不足：一个活的元胞若少于两个活的邻居，会在下一代因孤立而死亡。
生命数量过剩：一个活的元胞若有超过三个活的邻居，会在下一代因过度拥挤而死亡。
这四条规则在每一步同时应用于网格中的每个元胞，创造出一场模式之舞。从这些基本交互中涌现出复杂行为：永不改变的稳定结构、按规律模式脉动的振荡器，甚至看似在网格上移动的滑翔机。正是这种从简单性中涌现的复杂性，使生命游戏成为自然系统中自组织的有力隐喻，从生物进化到星系形成，皆是如此。
鉴于其二值性和动态特性，所以生命游戏是检验可微分逻辑元胞自动机(DiffLogic CA)有效性的良好基准。
状态与参数规则不受历史状态影响，元胞状态仅需占用1比特空间，系统本身无记忆。模型架构包含16个感知电路核，每个核的节点结构均为[8,4,2,1]。更新网络共23层：前16层每层包含128个节点，后续七层的节点数依次为[64,32,16,8,4,2,1]。
损失函数损失函数通过逐点计算获得。将预测网格与真实网格的平方差求和，即可得到最终数值。数学表达式如下：
训练数据集模型训练采用3x3周期性网格，时间步长设置为单步。在生命游戏中，每个元胞会与周围的八个邻近元胞进行互动。元胞的下一个状态不仅取决于其当前状态，同时也会受到邻居状态的影响。由于3x3网格存在512种唯一的构型，因此在训练过程中，我们构建了覆盖全部512种构型的网格。正确预测网格的下一状态，意味着掌握了完整的生命游戏规则。训练得到的参数随后被用于模拟更大规模网格的表现。
左侧的损失曲线显示了两种逻辑门表示方式的比较结果。软损失使用前一节所述的连续近似方法计算门的输出，而硬损失则仅选择概率最高的门，并使用离散输出。两种损失完全收敛，表明生成的电路能够完美模拟生命游戏。
通过硬推理（选择概率最高的门），右侧的模拟展示了学习电路的表现。该模拟基于更大规模的网格。涌现的图案捕捉了康威生命游戏的特征：在网格间移动的滑翔机、保持固定位置的稳定方块，以及保持其独特形态的经典结构，如面包型和船型结构。对“生命游戏”特征模式的成功复现证明了我们的电路已有效掌握了底层局部规则。
DiffLogic CA学习生命游戏的训练过程曲线
由学习电路模拟的生命游戏
生成电路分析虽然电路优化并非本项目的主要关注点，但本节将对生成的电路进行简要分析。
使用的有效逻辑门总数（不包括直通逻辑门A和B）为336个。通过对逻辑门分布的统计分析，我们发现在两个网络中使用频率最高的逻辑门类型是OR门和AND门。
感知内核电路中逻辑门数量的分布
更新电路中逻辑门数的分布
鉴于我们的最终电路仅由一系列二进制逻辑门组成，我们可以进一步深入分析并可视化整个电路的逻辑结构，下图展示了这336个逻辑门中的大部分（部分逻辑门因被确定对输出没有贡献而被剪除）。
完整学习感知-更新电路实现生命游戏（可交互使用）https://google-research.github.io/self-organising-systems/difflogic-ca/gol.html
左侧排列成3×3网格的方块是输入门，它们的排列方式模拟了“生命游戏”中单个中心元胞的视角。导线在高电平(1)时显示为绿色，低电平(0)时显示为红色。各个逻辑门基本上是非常清晰的，包括AND（与）门、OR（或）门或XOR（异或）门，其中输入端或输出端的小圆圈表示在该连接处有NOT（非）操作。为简化可视化效果，我们还将二元的NotB和NotA门替换为单输入的非门，并剪除了未使用的输入端，简化视觉呈现。此外，部分门仅表示“True”（真）或“False”（假），它们与输入端外观几乎相同，呈现为嵌套方块：实心的代表True，空心的代表False。
在最右侧，我们看到电路的单一输出通道——这恰好表示“生命游戏”中元胞的新状态。在图中的这一特定配置下，我们可以看到电路正确计算了“任何死亡元胞，如果恰好有三个活的邻居，就会变成活元胞，仿佛通过繁殖一样”这一规则。
我们建议读者直接操作此电路，进行交互体验[11]。
实验二：斑图生成
神经元胞自动机（NCA）在斑图生成任务[3]中展现出了卓越的能力，这启发我们探索可微分逻辑元胞自动机（diffLogic CA）的类似潜能。在此任务中，系统从随机初始状态出发，逐步演化至目标图像。允许多步计算过程，仅在最终时刻评估损失函数。这一设计促使模型自主发现离散转换规则。这些规则需引导系统经历连贯的状态序列，无需逐步监督。
成功学习重构图像将验证两个关键方面：1.模型能否通过习得规则形成长效动力学；2.能否有效学习具有状态记忆、时间递归和空间递归特性的电路结构。据我们所知，本研究尤为重要，因为它代表了首次在递归环境中对可微分逻辑门网络[4][5]进行的探索。
状态与参数我们考虑元胞状态（通道）为8位，并将DiffLogic CA迭代20步。模型架构包含16个感知电路核，每个核在各层分别有8、4和2个逻辑门。更新网络包含16层：前10层每层各有256个门，随后各层门数分别为[128、64、32、16、8、8]。
损失函数我们将损失函数定义为：预测网格中第一通道与目标网格在最后时间步的平方差之和。
训练数据集模型训练目标是在20个时间步内，重建16x16棋盘图案。在每个训练步骤中，初始状态均采用随机采样方式生成。目标棋盘格图案如下图所示。
目标斑图
实验结果DiffLogic CA完全收敛至目标图案。训练曲线图（左图）显示软损失函数和硬损失函数均呈现一致的收敛趋势。用于计算损失函数的第一通道的演化过程（右图）展示了清晰的斑图形成。一个引人深思的涌现特性是，尽管模型没有内置方向偏好，图案仍呈现从左下至右上的定向传播趋势。
DiffLogic CA的训练曲线
DiffLogic CA的演化过程，仅考虑元胞状态中的第一位。
生成电路分析所使用的有效逻辑门总数（不包括直通门A和B）为22个。对学习得到的逻辑门分析显示，感知核与更新网络之间存在不同的门分布。TRUE门似乎在感知过程中扮演关键角色，但在更新网络中则不然。
感知内核电路中逻辑门数量的分布
更新电路中逻辑门数量的分布。
在下方，我们提供了剪枝后电路的交互式可视化。值得注意的是，我们最终只剩下六个逻辑门——其中一个是冗余的，即对同一输入执行的AND操作。换言之，电路学习到的整个程序化棋盘格生成功能仅需五个逻辑门即可实现。同样，大部分输入和输出保持未使用状态。更关键的是，更新步骤完全不考虑单元自身视觉输出。我们鼓励读者与下方电路进行交互[11]，通过点击左侧输入的开关来观察对输出的影响。
完整学习感知-更新电路 | 上图需要到原网页交互体验，非常推荐大家去试试https://google-research.github.io/self-organising-systems/difflogic-ca/?hn
解决方案的通用性如何？从表面上看，我们的解决方案似乎是在迭代构建网格——可以说是在逐块搭建。然而，在训练过程中，我们仅使用了一种固定大小的网格。自然地，我们应当研究改变网格大小后会发生什么：我们学习到的规则究竟是一种真正的迭代式程序化解决方案，还是仅过拟合于特定网格尺寸？让我们将空间和时间维度都扩大四倍——使用四倍大小的网格并运行四倍的时间步长。
泛化测试：学习规则在4倍大网格上的应用
成功了！电路在新场景中依旧运行如初。这不禁引发了一个有趣的疑问：模型的归纳偏好究竟如何？在NCA框架下，我们可以促使模型的行为不受网格尺寸的影响，也不随时间而改变。然而，这需要使用一种特殊的空间不变损失函数[12]。以生长蜥蜴为例，必须建立“存活/死亡”机制[3]，以避免边界条件的过拟合。在本例中，边界条件同样固定，但模型却学会了“边界尺寸不变”的斑图生成方式。这种离散化处理与最小电路规模，是否正在揭示某种极简的程序描述，用于生成目标斑图？
基于我们的设置，我们通过两组实验测试了系统的损伤恢复能力和自我修复特性。在第一组测试（左图）中，我们评估了当大部分元胞被永久禁用，模拟故障组件的情况。在第二组测试（右图）中，被禁用的元胞在特定步数后重新激活。系统在两种情况下都表现出了鲁棒的行为：在第一种情况下，尽管存在永久性元胞损伤，仍能维持斑图完整性；在第二种情况下，一旦受损元胞恢复在线，系统能够成功自我修复并产生正确的斑图。
鲁棒计算[13]标志着系统设计的根本转变，其首要任务是确保系统在真实环境中可靠运行。与传统计算依赖精密无错的元件不同，鲁棒系统的设计有着显著差异。鲁棒系统的设计目标是即便遭遇硬件故障、环境干扰、意外输入或制造差异，这类系统仍能持续运作。当代计算系统（尤其是分布式系统）虽已有一定容错设计，但与自然界中同等复杂系统相比仍显脆弱。现有容错机制大多针对特定故障设计，例如无法通过其他手段控制的宇宙射线引发内存位翻转。
在上述实验中，DiffLogic元胞自动机通过自主学习，展现出容错与自愈行为。这些规则并非人为预设。当某些元胞失效时，损害被限制在局部，系统继续运行，性能逐渐下降而非发生灾难性故障。这体现了生物系统的可靠性实现方式：通过不完美元件构成的网络，实现一定的鲁棒性。这为未来计算系统指明方向：即使在非理想条件下，仍能维持功能运作。
异步性受传统神经元胞自动机训练方法的启发[14]，我们探索了异步更新机制。相较于同时更新所有元胞（这可类比于全局时钟），改为我们在每一步随机选择一部分元胞进行局部更新。这模拟了每个元胞都拥有自己内部时钟的场景。在此框架下，每个元胞可被概念化为一个独立的微型计算单元，它们自主决策，互不影响。
我们直接将异步性引入训练过程，预期这会比传统神经元胞自动机训练困难得多。首先，每一步的更新必须输出完整的新状态，而非仅仅是增量更新。其次，元胞必须应对周围元胞的任意异步组合。任何给定的邻居元胞可能“落后”或“领先”一步、两步、三步或更多步。这种复杂性迫使元胞必须有效学习更多转移规则。
令我们惊讶的是，在最简单的图案——棋盘格上，成功实现异步训练相对容易。下面，我们展示了三种不同且独特的斑图重构过程，它们都从相同的初始状态开始，但使用不同的随机种子来决定元胞更新顺序。尽管这些更新具有异步特性且产生了更复杂的更新规则，但元胞仍能在50步内精准重建目标图案。而在原同步模式下，仅需20步即可完成。
通过异步更新方法训练得出的斑图。
此外，学习型电路展现出泛化能力，在更大规模网格上实现了成功重建，并且能有效抵御外部错误的干扰，其运行模式恰似自修复的棋盘格，令人称奇。
异步训练下的泛化能力
异步训练下的自我修复行为
最为惊人的是测试原有规则时的表现。该规则经由同步训练获得，然而改用异步推理后，竟然能够正常运行！这一结果实在出人意料，并进一步印证了最初发现的电路具有较强的鲁棒性。
异步推理的成功促使我们提出新的猜想：直接通过异步更新训练的模型可能会表现出更强的鲁棒性。为了验证这一猜想，我们在每个推理步骤中，都有意地在图像区域随机遮蔽一个10x10像素的方块。下方的模拟清晰地展示了这一过程。
异步训练
同步训练
这些图像初步揭示了抗噪声能力上的差异——异步元胞从损伤中恢复的速度略快，而同步训练得到的规则受影响程度似乎更大。通过将误差测量为目标图像与重建图像间绝对差值的总和，我们发现在面对此类扰动时，异步训练提高了系统的鲁棒性。
实验三：生成蜥蜴图案
在新实验中，我们通过在蜥蜴轮廓上训练DiffLogic元胞自动机（CA），测试其学习任意形状的能力，以此向原始神经元胞自动机研究致敬。与再现高度可压缩的规则图案（如棋盘）相比，这项任务需要更多的记忆能力。我们使用128位的元胞状态，并使DiffLogic元胞自动机迭代12步。架构包含四个感知电路内核：各层门数分别为8、4、2、1。更新网络共十层：前八层每层512门，后两层节点数分别为256与128。
训练数据集我们训练模型在12个时间步内生成20×20的蜥蜴斑图。与NCA一样，初始条件由一个中心种子构成，用于打破对称性，同时在网格边缘应用周期性边界条件。我们采用了与棋盘实验中相同的损失函数。
蜥蜴轮廓图
实验结果为评估模型的泛化能力，我们在更大的40×40网格上测试了其表现。结果表明，模型成功学习了生长模式，且未依赖边界条件。左图展示了软损失和硬损失都收敛至零。右图可视化呈现了蜥蜴在更大网格中的成功生长过程。
生成蜥蜴斑图的损失函数
用DiffLogic CA生成蜥蜴
下方展示的前32个隐藏状态可视化结果，让我们得以窥见模型在生长过程中的内部动态机制。
前32个隐藏状态可视化
训练DiffLogic元胞自动机生成复杂图案，面临着重大优化挑战。这一过程需要进行大量的超参数调优。未来，通过改进模型架构，优化电路拓扑结构，这些改进有望加速模型收敛，增强稳定性。同时，或许能降低密集调参的需求。
生成电路分析共使用了577个有效逻辑门电路，其中不包含A、B直通门。感知核电路主要采用TRUE门，而更新电路则几乎使用了所有可用的门类型。
感知核电路中逻辑门数量的分布情况
更新电路中逻辑门数量的分布情况。
实验四：带颜色的字母G的学习
先前实验主要集中于单色图像生成，仅将最后一个通道用于可视化目的。为进一步探索复杂目标态，我们训练模型通过15步生成16x16“彩色”图像。每个元胞状态包含64个通道。模型配置了四个感知电路核，每个核具有三层结构：分别设置8门、4门、2门。更新网络架构由11层组成：前8层每层各有512个节点，最后是3层序列，节点数分别为[256、128、64]。
训练数据集经过15步训练，模型成功生成16x16彩色字母（可能唤起某些形态联想）。初始状态设定为全零，不采用周期性边界条件。遵循标准NCA规范[3]，前三通道对应RGB色彩。在本模型中，这些值被限定为二进制0或1，最终呈现出八种基础颜色。
目标斑图
损失函数损失函数定义为预测网格与目标网格在最终时间步的平方差之和，仅考虑前三个通道（0、1、2）。
实验结果结果显示，模型成功学会生成彩色字母G。左图损失曲线显示，软损失与硬损失均趋于收敛。右图展示了通过15步重建彩色G字母的过程。
彩色G字母的损失函数
由学习电路模拟生成的“G”字母
生成电路分析实验共使用927个有效逻辑门（不含直通门A和B）。分析发现，感知网络与更新网络的逻辑门分布明显不同。值得注意的是，TRUE（恒真）和FALSE（恒假）门在两个网络中都被广泛使用，而OR（或）门在更新网络中最为普遍。我们注意到，与先前实验相比，该电路比先前实验更复杂：既难找到合适超参数，整体规模也更大。
感知内核电路中逻辑门数量的分布
更新电路中逻辑门数量的分布。
总结和讨论
本研究提出DiffLogic CA，一种新型NCA架构。它采用完全离散的元胞状态，通过可学习的循环二进制电路进行更新。我们用深度可微分逻辑网络替代传统神经网络组件，使离散逻辑门能够进行可微分训练。通过两项关键成果验证其应用价值：成功复现康威生命游戏规则，以及通过学习离散动态生成多样图案。这些发现表明，在元胞自动机框架中整合离散逻辑具有显著潜力。同时，实验证明可微分逻辑门网络能够在循环架构中被有效学习。当前模型虽能学习简单模式，但生成复杂结构仍面临挑战。未来改进方向包括探索分层NCA架构，以及引入专用门以辅助状态遗忘。例如，在状态更新过程中加入类似LSTM的机制，可以实现对过去状态和新计算的候选状态更丰富多样的组合，从而有可能增强模型的动态性和表达能力。
致谢我们感谢Blaise Aguera y Arcas的支持以及智能范式团队（Paradigm of Intelligence Team）提供的富有成效和启发性的讨论。感谢Marek Materzok以及优秀DigitalJS电路可视化库的贡献者，本文所有交互式电路均由其修改版本实现。感谢emmelaich发现图表错误。
[1]Evolving cellular automata to perform computations: mechanisms and impediments,M. Mitchell, J.P. Crutchfield, P.T. Hraber.,Physica D. Elsevier BV. 1994.
[2]Differentiable cellular automata,C. Martin. arXiv [cs.DM]. 2017.
[3]Growing Neural Cellular Automata,A. Mordvintsev, E. Randazzo, E. Niklasson, M. Levin.,Distill. 2020.
[4]Deep differentiable logic gate networks,F. Petersen, C. Borgelt, H. Kuehne, O. Deussen.,NeurIPS. 2022.
[5]Convolutional Differentiable Logic Gate Networks,F. Petersen, H. Kuehne, C. Borgelt, J. Welzel, S. Ermon.,NeurIPS. 2024.
[6]Speculating in precious computronium,I. Amato.Science. American Association for the Advancement of Science (AAAS). 1991.
[7]CAM-8: A Computer Architecture Based on Cellular Automata,N. Margolus. arXiv. 1995.
[8]Programmable matter: Concepts and realization,T. Toffoli, N. Margolus.Physica D. Elsevier BV. 1991.
[9]Image segmentation via Cellular Automata,M. Sandler, A. Zhmoginov, L. Luo, A. Mordvintsev, E. Randazzo,B.A.y. Arcas.,arXiv. 2020.
[10]Self-classifying MNIST Digits,E. Randazzo, A. Mordvintsev, E. Niklasson, M. Levin, S. Greydanus.,Distill. 2020.
[11]tilk/digitaljs: Teaching-focused digital circuit simulator,M. Materzok. GitHub. 2018.
[12]Self-Organising Textures,E. Niklasson, A. Mordvintsev, E. Randazzo, M. Levin.,Distill. 2021.
[13]A movable architecture for robust spatial computing,D.H. Ackley, D.C. Cannon, L.R. Williams.,Comput. J., pp. 1450--1468. Oxford University Press (OUP). 2013.
[14]Asynchronicity in Neural Cellular Automata,E. Niklasson, A. Mordvintsev, E. Randazzo.,The 2021 Conference on Artificial Life. MIT Press. 2021.
阅读最新前沿科技趋势报告，请访问欧米伽研究所的“未来知识库”
未来知识库是“欧米伽未来研究所”建立的在线知识库平台，收藏的资料范围包括人工智能、脑科学、互联网、超级智能，数智大脑、能源、军事、经济、人类风险等等领域的前沿进展与未来趋势。目前拥有超过8000篇重要资料。每周更新不少于100篇世界范围最新研究资料。欢迎扫描二维码或访问进入。
牛津未来研究院 《将人工智能安全视为全球公共产品的影响、挑战与研究重点》
麦肯锡：超级智能机构：赋能人们释放人工智能的全部潜力
AAAI 2025 关于人工智能研究未来研究报告
斯坦福：2025 斯坦福新兴技术评论：十项关键技术及其政策影响分析报告（191 页）
壳牌：2025 能源安全远景报告：能源与人工智能（57 页）
盖洛普 & 牛津幸福研究中心：2025 年世界幸福报告（260 页）
Schwab ：2025 未来共生：以集体社会创新破解重大社会挑战研究报告（36 页）
IMD：2024 年全球数字竞争力排名报告：跨越数字鸿沟人才培养与数字法治是关键（214 页）
DS 系列专题：DeepSeek 技术溯源及前沿探索，50 页 ppt
联合国人居署：2024 全球城市负责任人工智能评估报告：利用 AI 构建以人为本的智慧城市（86 页）
TechUK：2025 全球复杂多变背景下的英国科技产业：战略韧性与增长路径研究报告（52 页）
NAVEX Global：2024 年十大风险与合规趋势报告（42 页）
《具身物理交互在机器人 - 机器人及机器人 - 人协作中的应用》122 页
2025 - 2035 年人形机器人发展趋势报告 53 页
Evaluate Pharma：2024 年全球生物制药行业展望报告：增长驱动力分析（29 页）
【AAAI2025 教程】基础模型与具身智能体的交汇，350 页 ppt
Tracxn：2025 全球飞行汽车行业市场研究报告（45 页）
谷歌：2024 人工智能短跑选手（AI Sprinters）：捕捉新兴市场 AI 经济机遇报告（39 页）
【斯坦福博士论文】构建类人化具身智能体：从人类行为中学习
《基于传感器的机器学习车辆分类》最新 170 页
美国安全与新兴技术中心：2025 CSET 对美国人工智能行动计划的建议（18 页）
罗兰贝格：2024 人形机器人的崛起：从科幻到现实：如何参与潜在变革研究报告（11 页）
兰德公司：2025 从研究到现实：NHS 的研究和创新是实现十年计划的关键报告（209 页）
康桥汇世（Cambridge Associates）：2025 年全球经济展望报告（44 页）
国际能源署：2025 迈向核能新时代
麦肯锡：人工智能现状，组织如何重塑自身以获取价值
威立（Wiley）：2025 全球科研人员人工智能研究报告（38 页）
牛津经济研究院：2025 TikTok 对美国就业的量化影响研究报告：470 万岗位（14 页）
国际能源署（IEA）：能效 2024 研究报告（127 页）
Workday ：2025 发挥人类潜能：人工智能（AI）技能革命研究报告（20 页）
CertiK：Hack3D：2024 年 Web3.0 安全报告（28 页）
世界经济论坛：工业制造中的前沿技术：人工智能代理的崛起》报告
迈向推理时代：大型语言模型的长链推理研究综述
波士顿咨询：2025 亚太地区生成式 AI 的崛起研究报告：从技术追赶者到全球领导者的跨越（15 页）
安联（Allianz）：2025 新势力崛起：全球芯片战争与半导体产业格局重构研究报告（33 页）
IMT：2025 具身智能（Embodied AI）概念、核心要素及未来进展：趋势与挑战研究报告（25 页）
IEEE：2025 具身智能（Embodied AI）综述：从模拟器到研究任务的调查分析报告（15 页）
CCAV：2025 当 AI 接管方向盘：自动驾驶场景下的人机交互认知重构、变革及对策研究报告（124 页）
《强化学习自我博弈方法在兵棋推演分析与开发中的应用》最新 132 页
《面向科学发现的智能体人工智能：进展、挑战与未来方向综述》
全国机器人标准化技术委员会：人形机器人标准化白皮书（2024 版）（96 页）
美国国家科学委员会（NSB）：2024 年研究与发展 - 美国趋势及国际比较（51 页）
艾昆纬（IQVIA）：2025 骨科手术机器人技术的崛起白皮书：创新及未来方向（17 页）
NPL&Beauhurst：2025 英国量子产业洞察报告：私人和公共投资的作用（25 页）
IEA PVPS：2024 光伏系统经济与技术关键绩效指标（KPI）使用最佳实践指南（65 页）
AGI 智能时代：2025 让 DeepSeek 更有趣更有深度的思考研究分析报告（24 页）
2025 军事领域人工智能应用场景、国内外军事人工智能发展现状及未来趋势分析报告（37 页）
华为：2025 鸿蒙生态应用开发白皮书（133 页
《超级智能战略研究报告》
中美技术差距分析报告 2025
欧洲量子产业联盟（QuIC）：2024 年全球量子技术专利态势分析白皮书（34 页）
美国能源部：2021 超级高铁技术（Hyperloop）对电网和交通能源的影响研究报告（60 页）
罗马大学：2025 超级高铁（Hyperloop）：第五种新型交通方式 - 技术研发进展、优势及局限性研究报告（72 页）
兰德公司：2025 灾难性网络风险保险研究报告：市场趋势与政策选择（93 页）
GTI：2024 先进感知技术白皮书（36 页）
AAAI：2025 人工智能研究的未来报告：17 大关键议题（88 页）
安联 Allianz2025 新势力崛起全球芯片战争与半导体产业格局重构研究报告
威达信：2025 全球洪水风险研究报告：现状、趋势及应对措施（22 页）
兰德公司：迈向人工智能治理研究报告：2024EqualAI 峰会洞察及建议（19 页）
哈佛商业评论：2025 人工智能时代下的现代软件开发实践报告（12 页）
德安华：全球航空航天、国防及政府服务研究报告：2024 年回顾及 2025 年展望（27 页）
奥雅纳：2024 塑造超级高铁（Hyperloop）的未来：监管如何推动发展与创新研究报告（28 页）
HSOAC：2025 美国新兴技术与风险评估报告：太空领域和关键基础设施（24 页）
Dealroom：2025 欧洲经济与科技创新发展态势、挑战及策略研究报告（76 页）
《无人机辅助的天空地一体化网络：学习算法技术综述》
谷歌云（Google Cloud）：2025 年 AI 商业趋势白皮书（49 页）
《新兴技术与风险分析：太空领域与关键基础设施》最新报告
150 页！《DeepSeek 大模型生态报告》
军事人工智能行业研究报告：技术奇点驱动应用加速智能化重塑现代战争形态 - 250309（40 页）
真格基金：2024 美国独角兽观察报告（56 页）
璞跃（Plug and Play）：2025 未来商业研究报告：六大趋势分析（67 页）
国际电工委员会（IEC）：2025 智能水电技术与市场展望报告（90 页）
RWS：2025 智驭 AI 冲击波：人机协作的未来研究报告（39 页）
未来今日研究所 2025 年科技趋势报告第 18 版 1000 页
模拟真实世界：多模态生成模型的统一综述
中国信息协会低空经济分会：低空经济发展报告（2024 - 2025）（117 页）
浙江大学：2025 语言解码双生花：人类经验与 AI 算法的镜像之旅（42 页）
人形机器人行业：由 “外” 到 “内” 智能革命 - 250306（51 页）
大成：2025 年全球人工智能趋势报告：关键法律问题（28 页）
北京大学：2025 年 DeepSeek 原理和落地应用报告（57 页）
欧盟委员会 人工智能与未来工作研究报告
加州大学伯克利分校：面向科学发现的多模态基础模型：在化学、材料和生物学中的应用
电子行业：从柔性传感到人形机器人触觉革命 - 250226（35 页）
RT 轨道交通：2024 年中国城市轨道交通市场数据报告（188 页）
FastMoss：2024 年度 TikTok 生态发展白皮书（122 页）
Check Point：2025 年网络安全报告 - 主要威胁、新兴趋势和 CISO 建议（57 页）
【AAAI2025 教程】评估大型语言模型：挑战与方法，199 页 ppt
《21 世纪美国的主导地位：核聚变》最新报告
沃尔特基金会（Volta Foundation）：2024 年全球电池行业年度报告（518 页）
国际科学理事会：2025 为人工智能做好国家研究生态系统的准备 - 2025 年战略与进展报告（英文版）（118 页）
光子盒：2025 全球量子计算产业发展展望报告（184 页）
奥纬论坛：2025 塑造未来的城市研究报告：全球 1500 个城市的商业吸引力指数排名（124 页）
Future Matters：2024 新兴技术与经济韧性：日本未来发展路径前瞻报告（17 页）
《人类与人工智能协作的科学与艺术》284 页博士论文
《论多智能体决策的复杂性：从博弈学习到部分监控》115 页
《2025 年技术展望》56 页 slides
大语言模型在多智能体自动驾驶系统中的应用：近期进展综述
【牛津大学博士论文】不确定性量化与因果考量在非策略决策制定中的应用
皮尤研究中心：2024 美国民众对气候变化及应对政策的态度调研报告：气候政策对美国经济影响的多元观点审视（28 页）
空间计算行业深度：发展趋势、关键技术、行业应用及相关公司深度梳理 - 250224（33 页）
Gartner：2025 网络安全中的 AI：明确战略方向研究报告（16 页）
北京大学：2025 年 DeepSeek 系列报告 - 提示词工程和落地场景（86 页）
北京大学：2025 年 DeepSeek 系列报告 - DeepSeek 与 AIGC 应用（99 页）
CIC 工信安全：2024 全球人工智能立法的主要模式、各国实践及发展趋势研究报告（42 页）
中科闻歌：2025 年人工智能技术发展与应用探索报告（61 页）
AGI 智能时代：2025 年 Grok - 3 大模型：技术突破与未来展望报告（28 页）
上下滑动查看更多
来源：人工智能学家
