自动微分•自组织生长: 打造新一代的自组织生长模型

360影视 日韩动漫 2025-05-07 18:33 2

摘要:生长型神经元胞自动机(Growing-NCA)通过可微的神经网络定义细胞自动机规则,使系统能够通过训练从初始种子自动生长、修复并稳定成目标图案。结合神经网络的学习能力与细胞自动机的局部规则,Growing-NCA在图像生长与再生任务中展示了自组织与修复能力,提

本文来源:集智俱乐部

作者:赵思怡

导语

生长型神经元胞自动机(Growing-NCA)通过可微的神经网络定义细胞自动机规则,使系统能够通过训练从初始种子自动生长、修复并稳定成目标图案。结合神经网络的学习能力与细胞自动机的局部规则,Growing-NCA在图像生长与再生任务中展示了自组织与修复能力,提供了模拟自然界形态发生和自修复系统的创新方法。这为相关领域的研究开辟了新的路径。

关键词:神经元胞自动机、可微分逻辑网络、局部规则设计、形态发生、自组织、再生

绝大多数多细胞生物的生命始于单个受精卵——一个单一的细胞,其后代能够可靠地自我组装,形成高度复杂的解剖结构,各类器官和组织每次都以相同的方式精确排列。自主构建身体的能力堪称生命体最根本的技能。形态发生(morphogenesis)作为生物体成形过程,是自组织这一现象最引人注目的例子之一。作为构成生物体的微小基本单位,元胞通过与邻近细胞的交流,决定器官的形状和身体结构的布局,包括每个器官的生长位置、如何相互连接以及何时停止生长。当前研究重点在于:简单规则如何产生复杂形态?稳态调节机制如何维持机体稳定?当遭遇外界干扰时,又如何保持正确形态?可以确定的是,进化已掌握运用物理定律与计算法则,在基因组编码的元胞硬件上运行着高度稳健的形态发生程序(morphogenetic program)。

这个成形过程展现出极强的抗干扰能力,即便在生物体完全发育后,一些物种仍能修复损伤——这种能力被称为再生(regeneration)。以蝾螈为例,它能完整再生重要器官、四肢、眼睛甚至大脑的部分结构。形态发生具有惊人的适应性,有时即便发育过程极为异常,仍能形成存活个体,例如当哺乳动物早期胚胎被切成两半时,每一半也能发育成一个完整个体——这正是同卵双胞胎的形成机制!

该领域最大的谜题在于:细胞群体如何知晓该构建什么?又该何时停止构建?基因组学和干细胞生物学仅能解释部分机制,例如,特定成分在细胞内的分布,以及不同类型细胞的形成过程。尽管我们已经识别出许多与再生相关的基因,但细胞如何通过精准算法构建器官,最终达到特定解剖结构仍是未解之谜。因此未来生物医学的一个核心任务在于揭示:细胞群体如何确定宏观解剖结构,以及如何改写这些信息,以实现对生长形态的精准调控。目前已知,生命系统包含众多功能模块,如“在此处生成一只眼睛”这样的指令,仅需简单信号触发。探索这些发育子程序(developmental subroutines)并绘制其逻辑图谱已成为发育生物学与计算机科学交叉的新领域。而此研究方向下一步的重要目标在于建立计算模型,更深入地理解这一过程,如此既丰富生物学理论工具,又能将发现转化为更先进的机器人技术与计算技术。

试想:若能设计出与生物体同等可塑性且具备强健性的系统——即具备自主生长与自我修复能力的结构及机器,这项技术将彻底革新再生医学的研究范式。当前科研人员与临床团队正致力于解析关键诱导因子,以期实现体内细胞按需构建目标结构的精准调控。为破译形态发生的核心逻辑,同时将生物智能转化为工程应用,我们尝试在计算机仿真实验中复现这些生物启发的关键属性。

模型

工程领域研究者常利用多种局部相互作用模型,包括偏微分方程组(PDEs)、粒子系统,以及各类元胞自动机(CA)。本文将以元胞自动机(以下简称CA)模型为路线图,探索细胞级规则如何促成群体产生复杂再生行为。CA由网格化细胞构成,通过迭代逐步更新状态,每一步骤中均应用相同规则。单个元胞的新状态仅依赖于其邻域内少数细胞的状态。尽管规则看似简单,元胞自动机却常呈现丰富行为模式,并在生物现象建模方面拥有悠久的应用历史。

让我们尝试构建一种CA更新规则:从单个细胞出发,在二维网格上生成预设的多细胞图案,这是一个类比生物体发育过程的简化模型。构建CA模型时需明确两个要素:细胞可能的状态及其更新函数。传统模型采用离散值表示状态,但也存在使用连续向量的变体。连续值的优势在于:其更新规则可对邻域状态进行微分运算。这种基于局部环境调控单个细胞行为的规则,类似于生物体基因组所编码的底层硬件规范,从初始配置运行模型一定步数后,我们可以观察到这种“硬件”所驱动的模式形成行为。

那么,可微分更新规则有何特殊之处?它们允许我们运用损失函数精准表达需求,并通过梯度优化来实现目标。将可微分函数逐层堆叠,优化参数来完成各类任务,这种方法历史悠久。近年来,它以不同名称蓬勃发展,如(深度)神经网络、深度学习或可微分编程。

单步更新模型示意图

细胞状态

每个细胞状态用16维实数向量表示(见上图),其中前三个通道对应可见颜色(RGB)。目标图案颜色通道值在[0.0,1.0]区间,前景像素α值为1.0,背景像素α值为0.0。

α通道(alpha)具有特殊含义:它标示出属于正在生长模式的“活体”细胞。具体而言,α值大于0.1(α > 0.1)的细胞及其相邻细胞被视作“活体”。其余细胞则为“死体”或空置,其状态向量在每一步都会显式归零。因此,α > 0.1的细胞可以视为“成熟体”。邻近区域中α ≤ 0.1的细胞属于“生长体”——若其α值突破0.1阈值,即可转化为成熟体。

隐藏通道没有预设含义,其用途由更新规则决定,可将其理解为细胞用于协调生长的化学物质浓度、电势或其他信号机制。从生物学类比的角度来看——所有细胞共享同一基因组(即更新规则),而它们的分化仅通过接收、发出和内部存储的化学信号所编码的信息(即状态向量)实现。

元胞自动机规则

现在定义更新规则,我们的CA运行在一个由16维向量构成的规则二维网格上,本质上是一个形状为[高度, 宽度, 16]的三维数组,我们希望对每个细胞应用相同的操作,且该操作的结果仅依赖于该细胞的小型(3x3)邻域。这与卷积操作极为相似,而卷积是信号处理与可微分编程的基石之一。卷积本质上是线性操作,但可与其他逐细胞运算结合,生成能够学习所需行为的复杂更新规则。接下来,我们的细胞更新规则可以分为以下阶段,需按顺序执行:

感知阶段(Perception)

更新规则(Update rule)

每个细胞随后对感知向量执行一系列操作,这些操作基于典型的可微分编程构建模块,例如 1x1卷积与 ReLU非线性激活函数。我们将这一过程称为细胞的"更新规则"。需要指出,更新规则是通过学习获得的,但所有细胞运行相同的更新规则。该规则的参数化网络包含约8,000个参数。受残差神经网络(ResNet)启发,更新规则输出对细胞状态的增量更新,并在下一时间步前应用到该细胞。为确保初始行为“无操作”(即不改变细胞状态),我们通过将更新规则中最终卷积层的权重初始化为零来实现。此外,我们不应用ReLU激活函数到更新规则最后一层的输出,因为细胞状态的增量更新必须能够同时增加或减少当前状态值。

随机细胞更新(Stochastic Cell Update)

传统元胞自动机通常同步更新所有细胞,这意味着系统依赖一个全局时钟来协调所有细胞的更新节奏。然而,这种全局同步性与自组织系统的特性相悖——后者应具备去中心化的协调能力。为突破这一限制,我们假设每个细胞独立执行更新操作,并在两次更新之间随机等待一段时间。具体而言,我们通过逐细胞随机掩码模拟这一行为:以预设概率(训练时设为0.5)将更新向量的所有值设为零。这一操作可视为对更新向量应用逐细胞 dropout(随机失活)。

存活细胞掩码(Living Cell Masking)

我们希望模拟从单个细胞开始的生长过程,因此不希望空细胞参与计算或携带任何隐藏状态。我们通过显式将空细胞的所有通道设为零来实现这一目标。若某个细胞的3x3邻域内不存在“成熟”(α>0.1)细胞,则该细胞被视为“空细胞”。

实验1:学习生长

目标图案的训练方法

在首个实验中,我们仅训练CA,使其在随机步数后生成目标图像。这一方法较为基础,会面临诸多问题,但其暴露的挑战将帮助我们改进后续尝试。

将网格初始化为全零矩阵,仅在中心放置单个种子细胞,该种子所有通道(除RGB通道外)均设为激活状态。完成初始化后,开始迭代应用更新规则。每次训练步长在[64, 96]区间中随机选取,此范围经过验证,足以让40x40尺寸的图案充分生长。即便更新规则存在随机性,也能覆盖可能的变化,确保图案在不同迭代次数下保持稳定。最后一步计算网格RGBA通道与目标图案的像素 级L2损失,该损失可通过沿时间反向传播算法,对更新规则参数进行可微分优化。训练后期出现不稳定性,表现为损失值突然跃升,采用逐变量 L2梯度归一化后得到缓解,该方法效果类似于权重归一化技术。其他训练参数可参考配套源代码。

优化完成后,可运行模拟观察训练好的 CA 生长过程。若运行步数超过训练时的步长范围,会观察到何种行为?下图动画展示了多个不同模型的运行结果,这些模型分别被训练生成不同表情符号(emoji)图案。

多数图案在长时间运行后会逐渐失稳

我们发现,不同的训练过程会使模型展现出截然不同的长期行为。有些会逐渐消亡,有些则会无限扩张,但偶然也有些能接近稳定!如何才能确保训练始终产出持久稳定的模式呢?

实验2:持续即存在

要解释先前实验中的不稳定现象,可以与动力系统理论(dynamical systems theory)进行类比。将每个细胞视作一个独立的动力系统,所有细胞共享相同的动态规则,并通过局部耦合相互关联,在训练细胞更新模型时,本质上是在调整这些动态规则。我们的目标是找到满足特定性质的动态规则:首先要求系统能从种子图案演进到目标图案——这正是实验1所达成的演化路径;现在则要规避系统失稳现象,在动态系统类比中,这相当于将目标模式设为吸引子(attractor)。

具体策略是:大幅延长CA的迭代时长,周期性地针对目标应用损失函数,并通过时间跨度更大的反向传播进行训练。其原理在于:通过延长迭代周期并多次施加损失约束,模型会逐步为目标形态构建吸引子;通过持续修正动态规则,迫使偏离轨道的系统必须回归目标图案。但代价是:超长时段不仅会成倍增加训练耗时,更会导致内存消耗暴涨——所有中间激活状态必须全程驻留内存,才能支撑反向传播计算。

为此,我们提出“样本池(sample pool)” 策略达成类似效果。我们定义一个种子状态池作为迭代的起点,初始时仅包含单一黑色像素的种子状态,训练时从池中采样批次用于迭代步骤。为防止灾难性遗忘(catastrophic forgetting),每批次中随机替换一个样本为原始的单像素种子状态。完成训练步骤后,将输出状态替换池中被抽中的样本。下方动画直观呈现池内状态演变过程:每隔20个训练步骤随机采样一次。

训练过程中池内模式随机采样(每20步记录)

在训练初期,系统随机动态会导致模型陷入错误状态,当这些状态被池中采样时,我们通过调整动态规则帮助其恢复。随着模型逐渐稳定,池中样本愈发接近目标图案,此时训练聚焦于优化阶段,主要精修这些接近完成的状态。

本质上,我们利用之前的最终状态作为新起点,迫使CA不仅能够从种子生长模式,还能学会维持甚至改进已形成的模式。这使得我们能够在远长于常规训练周期的时间区间内周期性施加损失函数,从而促使耦合系统中将目标形状设为吸引子。我们还发现:在初始阶段,对批次中损失最高样本重新播种(而非随机选择),可使训练更稳定,因为这种方法有助于主动清除池中的低质量状态。

以下是典型CA规则的训练轨迹。细胞规则在稳定整体图案的同时,同步精修特征细节。

CA 在训练第100、500、1000、4000步时的动态演变

实验3:学习再生能力

生物体不仅擅长构建自身形态,还能持续维护,老化皮肤会被新生组织替代,某些物种甚至能修复重度损伤的器官。我们训练的模型是否具备类似再生能力?

受损图案展现出部分再生特性,但无法实现完整再生

上方动画展示了三种采用相同参数训练的模型。我们让每个模型在100步内生成图案,随后通过五种方式对最终状态施加破坏:移除图案的不同半区,或是挖除中心方块。值得注意的是,这些模型在非训练模式下表现迥异。例如"蜥蜴"模型虽未经专项训练,却展现出显著的再生能力!

由于我们训练了细胞耦合系统,使其从单个细胞生成目标形状的吸引子,因此这些系统一旦受损,很可能会表现出非自毁的反应,原因在于系统被训练需要持续生长、保持稳定,并避免完全自毁。其中一些系统会自然发展出再生能力,但其他行为仍可能显现——包括爆发性分裂(runaway growth)、损伤无反应(过度稳定),甚至我毁,尤其是在更严重的损伤情况下。

若要模型展现更稳定精准的再生能力,可以尝试扩展目标图案的吸引域,即增加能自然趋向目标形态的细胞配置空间。具体方法是在每次训练前,对池内采样状态施加随机破坏,那么系统必须能从随机擦除圆块造成的损伤中再生。我们期望以此培养应对多种损伤的修复能力。

破坏池中样本有助于学习强健的再生特性。首行显示池内原始样本,次行呈现模型迭代后的对应状态

上方动画展示了包含的样本损伤的训练过程。首先从池中选取8个状态,将损失最高的样本(左上角)替换为初始种子,并通过将图案中的随机圆形区域设为零来破坏三个损失最低的状态(右上角)。底行显示了各起始状态经过迭代后的结果。与实验2相同,这些结果状态会被重新注入样本池。

经受损伤训练的图案展现出惊人的再生能力

通过动画可见,经过损伤训练的模型更具适应性,这种特性甚至适用于训练中未见的损伤类型,如前文所示的矩形损伤。

实验4:旋转感知场

这种对感知场的简单调整无需重新训练,就能生成任意角度的旋转图案变体,效果如下所示。

只需旋转感知梯度的计算轴方向,即可获得相应角度的图案旋转效果

相关工作

元胞自动机(CA)与偏微分方程(PDEs)

现有大量文献记载了各类CA与PDE系统,及其在物理、生物乃至社会系统建模中的应用。虽无法全面概述该领域,但我们将介绍一些启发本研究的代表性研究。艾伦·图灵早在1952年便提出著名的图灵斑图(Turing patterns),指出反应-扩散系统(reaction-diffusion systems)可有效模拟形态发生中的化学行为。其中经受时间考验的格雷-斯科特模型(Gray-Scott model)尤为突出,仅用少数变量控制,便能呈现极为多样的行为模式。

这种基于主体的模型早在20世纪40年代没有使用计算机的情况下,冯·诺依曼就提出在CA环境中的自复制机,它被认为是自动机理论 Automata Theory、复杂系统和人工生命的基础。而基于主体的模型另一个进步是由英国数学家约翰·何顿·康威 John Horton Conway在20世纪70年代促成的,他建造了著名的生命游戏。与冯·诺依曼的机器不同,康威的生命游戏( Conway's Game of Life)以二维棋盘的形式在虚拟世界中以极其简单的规则操作。20世纪80年代,史蒂芬·沃尔夫勒姆 Stephen 沃尔弗拉姆对一维元胞自动机进行了系统的研究,他称其为初等元胞自动机,这些规则被指出是图灵完备 Turing-complete的。其2002年出版的《一种新科学》(A New Kind of Science)对像元胞自动机这样的计算系统进行经验化与系统化的研究,并呼吁范式变革,主张将基本计算机程序(如CA)作为工具探索自然界中复杂的模式和过程,以重塑我们认知世界的框架。

近年来,研究者们正不断突破这一框架,将其延伸到更为广阔的连续空间中。例如,拉夫勒提出的 SmoothLife 模型,通过引入连续空间和连续状态的概念,有效地模糊了离散与连续之间的界限,为模拟更加平滑、流动的生命现象提供了理论基础。而陈的 Lenia 则在此基础上更进一步,不仅发现了完整的“生命形态”类别,还建立起了一整套系统化的分类体系,使得各种复杂自组织行为得以科学归纳和深入解析。

与此同时,借助进化算法的强大能力,研究者们正探索通过自动搜索方式发现新型元胞自动机规则的方法。这类方法能够根据预设目标自动优化规则,产生既能复现特定图案,又具备自我修复能力的系统。以 J·米勒的实验为例,他利用进化算法设计出一组特殊规则,使得法国国旗图案能够从一个单一的种子细胞开始生长,并在遭受局部破坏后实现自我修复。这不仅展示了进化算法在复杂系统设计中的潜力,也为元胞自动机在人工生命和自组织系统领域的应用开辟了新的道路。

神经元胞自动机的加速实现与CAX框架

随着可微分元胞自动机在形态发生、自修复系统等领域的应用逐渐深入,模型的高效实现与灵活扩展也成为研究实践中的关键问题,CA领域已催生出众多工具和库,用于支持相关研究与实验,其中 CellPyLib(Antunes, 2021)成为最受欢迎和通用性最强的 Python 库之一。它提供了简洁而强大的接口,支持一维和二维 CA,兼容离散与连续状态,非常适合作为比较研究的基线工具。尽管 GitHub 上有多个代码库复现了神经元胞自动机相关论文的结果,但这些实现通常聚焦较窄,功能有限。

近年来,随着连续元胞自动机研究的进展,JAX 框架成为其中的重要技术支撑。包括 Lenia(Chan, 2020) 和 Leniabreeder(Faldor 与 Cully, 2024)在内的 JAX 实现,推动了连续 CA 在开放式演化模拟中的大规模应用(Chan, 2023)。尽管这些已有实现展示了 JAX 在 CA 研究中的巨大潜力,但也暴露出当前工具的局限性:现有工具往往专为特定类型的元胞自动机设计(如离散型、1D 或 2D),应用范围狭窄(如仅复现某一类神经 CA 论文),或缺乏硬件加速支持。这些不足凸显出一个强大、灵活且高效的 CA 通用库的必要性,它应能覆盖广泛的 CA 类型,并充分利用现代计算硬件。CAX 正是为此而生 —— 一个基于 JAX 的通用工具,旨在加速整个元胞自动机研究领域的发展。

架构和设计:CAX 为所有类型的元胞自动机提供了统一的框架,涵盖任意维度的离散、连续和神经模型。这种灵活的架构建立在两个关键组件之上:感知模块和更新模块。这两个模块共同定义了元胞自动机的局部规则。在每个时间步,这个局部规则被统一应用于网格中的所有细胞,生成系统的下一个全局状态。CAX 的架构允许轻松组合不同的感知和更新模块,使得可以创建各种元胞自动机模型。这种模块化设计还通过允许用户定义自定义的感知和更新模块,同时利用库提供的现有基础设施,促进了对新型元胞自动机类型的实验。

CAX的高层架构,说明了感知和更新模块的模块化设计。这种灵活的结构支持多维度的各种CA类型(Maxence Faldor&Antoine Cully,2025)

感知模块:CAX 中的感知模块负责从每个细胞的邻域中收集信息。这些信息随后由更新模块用于确定细胞的下一个状态。CAX 提供了多种感知机制,包括卷积感知、深度卷积感知和快速傅里叶变换感知。感知模块设计灵活,可根据不同类型的元胞自动机进行定制。更新模块:CAX 中的更新模块负责根据当前状态和感知模块收集的信息确定每个细胞的下一个状态。CAX 提供了多种更新机制,包括多层感知器更新、残差更新和神经元胞自动机更新。与感知模块一样,更新模块设计灵活,可根据不同的元胞自动机模型进行定制。

性能:CAX 利用 JAX 强大的向量化和扫描功能,在各种元胞自动机模型上实现了显著的性能提升。对于基本的元胞自动机,CAX 相较于 CellPyLib 实现了 1400 倍的加速。在康威的生命游戏模拟中,相对于 CellPyLib 实现了 2000 倍的加速。arXiv

CAX 提供了一套丰富的实用函数,以支持元胞自动机研究的各个方面。提供了高质量的采样池技术实现,这对于训练稳定的生长型神经元胞自动机至关重要。为了促进无监督神经元胞自动机的训练并在元胞自动机框架内实现生成建模,CAX 集成了变分自编码器的实现。

神经网络与自组织

卷积神经网络(CNN)与CA之间的紧密关系已经被不少研究人员观察到。这种关联如此直接,以至于我们能够使用流行机器学习框架中现成的组件构建神经元胞自动机(Neural CA)模型,改用不同术语来说,可称为"带逐像素失活"的循环残差卷积网络。

Neural GPU的计算架构与我们高度相似,不过它主要用于学习乘法运算以及排序算法。这种架构相似性暗示,基础计算模型具有跨领域通用潜力。

从更广泛的视角看,随着图神经网络(GNN)[20] 模型的普及,自组织概念正在进入主流机器学习领域。典型应用中,这些网络会在动态图结构顶点上执行循环计算。顶点通过边与相邻节点交换信息,经过多轮信息传递,它们逐步收集全局数据。这类似于原子相互作用最终形成分子特性,也如点云中相邻点沟通,共同勾勒整体形状。

在传统动态图网络(dynamic graph networks)研究中,自组织同样展现独特价值,研究者通过进化自组装智能体(self-assembling agents),成功解决多种虚拟任务。

群体机器人学

一个展示自组织最惊人的例子当属在群体行为建模(collective behavior modeling)领域中的应用。早在1987年,雷诺的Boids模型仅用三条规则就精确模拟鸟类的群集行为。如今,我们可以在小型机器人中嵌入程序,在实体设备验证群体行为,如Nervous System Project和Kilobots robots实验。目前群体机器人程序仍需人工设计,我们期待这项研究能启发新思路,推动通过可微分建模自动生成群体行为。

讨论

胚胎发生建模

具备再生能力的双头真涡虫(planarian),正是本研究的灵感来源

本文描述一种关于胚胎发育与再生的基础模型,这一研究方向在生物学及更广泛领域具有重要应用前景。深入理解再生能力的演化机制及其调控原理,除了利用这些理解进行生物医学修复的意义之外,同样为生物工程领域带来全新机遇。随着该领域从单细胞集体的合成生物学转向新型活体机器的真实合成形态的发展,开发编程系统级能力(如解剖稳态,即再生修复)的策略将是必不可少的。

科学界早已认识到,某些再生生物体能够恢复特定的解剖模式,但最新研究揭示:目标形态并非直接由DNA编码决定,而是通过生理回路动态维持。这种回路实际上存储着解剖稳态的设定值。令人振奋的是,现有技术已能对该设定值进行改写。以双头真涡虫为例:将其切块置于清水环境后,无需任何干预,再生的后代仍能保持双头形态(见上文图示)。

因此,当前迫切需要建立能够存储系统级目标状态的计算模型,这对群体行为研究尤为重要。通过精确调控信息结构,从而实现预期的大规模结果,这一突破将有效解决逆向工程难题,为再生医学等领域带来实质性进展。

工程学与机器学习

本文模型运行于现代计算机或智能手机的高性能GPU上。然而,现在设想:若以更贴近物理实体的方式实现该系统,会呈现何种形态?不妨想象一个由微型独立计算机组成的网格,每个计算机模拟单个细胞,这些计算机需要约10KB的 ROM,用于存储"细胞基因组"——即神经网络权重与控制代码,并需要256字节的 RAM来保存细胞状态及中间激活值。每个细胞必须能将16维状态向量传递给相邻细胞,并配备RGB二极管以显示对应像素颜色。单个细胞的更新大约需要10,000次乘加运算,且无需全网格同步。我们建议细胞可以在更新之间等待随机的时间间隔。上述系统是均匀分布且去中心化的,但通过本方法编程,仍能使其达成预定义的全局状态,并在多元素故障和重启的情况下恢复该状态。因此推测,此类建模可用于设计可靠的自组织智能体。在机器学习理论层面,我们展示了一个去中心化模型处理复杂任务的实例,该方向与当前深度学习领域的大多数研究中使用的传统全局建模方法截然不同,期待本研究能启发更多去中心化学习模型的探索。

来源:人工智能学家

相关推荐