摘要：人工神经网络（ANN）是大多数深度学习（DL）算法的核心，这些算法可以成功解决图像识别、自动驾驶和自然语言处理等复杂问题。然而，与能够高效解决类似问题的生物大脑不同，DL 算法需要大量可训练参数，这使得它们能耗高且容易过拟合。

编辑丨&

人工神经网络（ANN）是大多数深度学习（DL）算法的核心，这些算法可以成功解决图像识别、自动驾驶和自然语言处理等复杂问题。然而，与能够高效解决类似问题的生物大脑不同，DL 算法需要大量可训练参数，这使得它们能耗高且容易过拟合。

来自希腊研究与技术基金会两位研究员示了一种新的 ANN 架构，它结合了生物树突的结构化连接和受限采样特性，抵消了这些限制。

树突状人工神经网络在多项图像分类任务中表现优于传统人工神经网络，同时使用的可训练参数明显较少。树突特性的结合可以使 ANN 中的学习更加精确、有弹性和参数高效，并为生物学特征如何影响 ANN 的学习策略提供了新的思路。

他们的研究以「Dendrites endow artificial neural networks with accurate, robust and parameter-efficient learning」为题，于 2025 年 1 月 22 日刊登于《Nature Communications》。

研究结果表明，树突特性的结合可以使 ANN 中的学习更加精确、有弹性和参数高效，并为生物学特征如何影响 ANN 的学习策略提供了新的思路。

生物树突与 DL

DL 架构在很大程度上依赖于受其生物对应物启发的多层人工神经网络（ANN）。在这些网络中，人工节点的构造通常是输入的线性加权和加上非线性激活函数，大致模仿生物神经元的胞体或轴突如何整合输入，并且通过更改这些节点之间的连接强度进行学习。

比之下，生物神经元要复杂得多，由一个体细胞、一个轴突和许多树突组成，使它们能够并行处理数千个突触输入，其方式在细胞类型之间差异很大。尽管生物神经元的体细胞和轴突功能在人工神经元中得到了突破，但目前缺少树突计算。

生物树突，因为它们能够产生局部再生事件（树突尖峰），与神经元胞体具有相似的尖峰特征。因此，生物神经元可以充当多层人工神经网络，能够执行复杂的计算。

鉴于树突的高计算能力和生物网络中的相关优势，目前人工神经元的设计似乎已经过时了。树突特性的掺入可能会增强人工神经网络的能力，培养更有效、更高效和更有弹性的学习行为，就像在生物网络中看到的那样。

上述主张得到了最近的研究的支持，这些研究将树突结构及其特性整合到传统人工神经网络中，在机器学习 （ML） 任务上显示出有希望的结果。

在这里，他们提出了一种生物逼真的树突状架构，旨在改善使用反向传播算法训练的人工神经网络的学习。在所提出的架构中，输入被部分采样并馈送到树突层，而树突层又以稀疏和高度结构化的方式连接到体细胞层。

图 1：树突状 ANN （dANN） 与经典香草 ANN （vANN） 的示意图。

通过结合树突结构和采样特征，所提出的树突状 ANN 模型在多个图像分类任务上匹配或优于传统 ANN，并抵消过拟合，同时使用的可训练参数减少了几个数量级。

这些改进可能是由于更广泛地使用了可训练权重，并且树突状 ANN 与传统 ANN 使用的学习策略不同。

总的来说，研究结果表明，树突可以在不牺牲其性能准确性的情况下提高人工神经网络的计算效率，为开发继承生物大脑一些主要优势的仿生 ML 系统开辟了新的途径。

树突 ANN 模型

在树突 ANN 模型中，每个树突都充当一个典型的点神经元：它线性地对其加权输入（突触）求和，并通过非线性传递总和。树突激活随后乘以电缆权重，并在胞体处求和，然后进行第二次非线性传递。

为了训练模型，他们将其实现为传统的 ANN，具有两个稀疏连接的隐藏层，分别代表树突和体细胞单元，以及一个完全连接的输出层。除此之外，他们还实现了一个具有相同层数的完全普通的 ANN 来进行对比。

除了结构化的连接性外，生物神经元的树突仅接收来自视觉场景的部分信息。为了研究这一特性的贡献，树突状 ANN 模型实施了三种类型的输入采样：a 输入特征（R）的随机采样，b 局部感受（LRF），其中每个树突都从图像的空间限制部分采样，以及 c 全局感受（GRF），其中所有树突都属于来自图像同一空间限制部分的 soma 样本。

对于大小匹配和更大的 vANN 架构（就可训练参数而言），这三个树突状 ANN 比 vANN 模型更有效地实现了更好的学习和对抗过拟合。

这些过拟合减少并不像在 dANN 中看到的那么大，这表明这里测试的生物启发树突结构可能是更有效的正则化器。虽然这些发现并不构成与所有传统正则化方法的比较，但它们表明观察到的正则化是仿生结构的一个新兴特性。

图 2：树突特征改善了对时尚 MNIST 分类的学习。

除了过拟合的好处外，dANN 还通过使用更少的可训练参数来匹配 vANN 的最佳性能。

在测试的三种 dANN 配置中，具有局部感受的 dANN 是最有效的。它达到了最高的精度和最小的损耗，而可训练参数比 vANN 少了一个数量级以上。

最后，正如预期的那样，dANN 和 pdANN 模型中的学习随着网络大小的增加而提高。更重要的是，与其他仿生架构不同、dANN和 pdANN 模型随着层数的增加而表现出更好的性能或稳定性，揭示了它们在更深层次架构中使用的潜力。

图 3：树突提高了各种基准数据集的效率。

在所有测试的数据集中，dANN 模型表现出比 vANN 和 pdANN 更高的效率。然而，它比 vANN 更不容易受到过拟合的影响，从而在大多数测试的数据集中它实现相似准确性的较小损失。

图像辨别结果表明，对于更困难的任务，dANN 和 vANN 模型之间的差异可能更大。当任务难度增加时，在 ANN 中加入树突特征可能会带来更大的稳健性、准确性和效率增益。

研究讨论的小结

仿生机器学习是 AI 领域最前沿的方向之一，而生物树突及其学习机制正成为研究的热点。这些仿生设计已经在人工神经网络中展现出巨大的潜力，为相关领域的发展打开了新的可能性。

然而，主要依赖树突处理的生物网络的能力和效率仍远无法与相应的人工神经网络相匹配。为了解决这一困境，研究者们构建了一组树突状 ANN，利用生物树突的结构化连接和受限采样特征来增强学习。

全新的模型为在经典人工神经网络中采用树突特征可以获得的好处提供了新的见解，这些发现具有远大的前景，它们表明整合生物特征对于优化 ML 算法的可持续性和有效性至关重要。

相信这些优势与它们相对较好地扩展深度的能力相结合，能使所提出的 dANN 网络整合到 DL 架构中，成为经典 ANN 的潜在强大替代品。

论文链接：

来源：小甜说科技