摘要：机器学习和大数据正在改变人们的生活方式，特别是最近出现的深度学习。这些由CPU和GPU驱动的人工智能技术目前受硬件限制，且能耗极高。作为一种有前景的替代方案，自由空间或集成光子学可完成高速、低能耗的机器学习任务。本文将回顾光学计算和光学机器学习的历史和现状。

机器学习和大数据正在改变人们的生活方式，特别是最近出现的深度学习。这些由CPU和GPU驱动的人工智能技术目前受硬件限制，且能耗极高。作为一种有前景的替代方案，自由空间或集成光子学可完成高速、低能耗的机器学习任务。本文将回顾光学计算和光学机器学习的历史和现状。

自从微电子学和激光器出现以来，光子学和电子学平台一直在信息处理和传输领域展开竞争。过去50年多年来，虽然电子学在计算领域占据绝对的优势，但光子学在通信领域的主导地位日益明显，特别是长距离光纤通信和数据中心的光互联。

机器学习也始于1950年代，在过去十几年取得了巨大的发展。深度神经网络已成为大数据分析和很多日常生活应用的实际标准：从语音识别到翻译，从图像分析到自动驾驶汽车。但机器学习的进步需要呈指数级增长的资源，包括内存、原始计算能力和能耗。以下将介绍神经网络基本，了解这种新架构如何打破常规，有望让光子学在计算领域大放异彩。

光学计算

经典计算基于1940年代制定的冯·诺依曼架构，也就是在内存中存储程序，在处理器上读取和执行指令，并利用通信总线在内存中交换输入和输出。这种架构因为微电子和纳米光刻技术的进步而不断改进，使每次运算的能耗降低至几皮焦，而元件的工作时钟频率达到了数GHz。如今，一台不错的台式个人计算机具有每秒数万亿次浮点运算的处理能力。

光子相比电子具有多个优势：固有的并行性、几乎无限的带宽、通过简单的传播进行简单的变换(比如傅里叶变换)。因此，光子学从开始就被认为是模拟计算的可行方案。1980年代，由于光学非线性、半导体激光器和光学存储器的出现，光子学似乎有建立全功能计算平台的希望。可惜的是，光子学未能赶上摩尔定律的指数级发展速度，所以这种希望在1990年代就被放弃了。尽管如此，光子学仍广泛用于存储和通信领域。

下面是关于光学计算的两篇历史文献。左图是一种斜平面光学处理器(1972年)，用于合成孔径雷达的光学图像处理。右图是一种基于光学反馈的矢量-矩阵乘法器(1985年)，用于展示Hopfield神经网络模型的光学执行方案。

斜平面光学处理器

矢量-矩阵乘法器

A. Kozma, E. N. Leith, and N. G. Massey, “Tilted Plane Optical Processor,” Appl. Opt. 11, 1766 –1777 (1972).

Demetri Psaltis and Nabil Farhat, "Optical information processing based on an associative-memory model of neural nets with thresholding and feedback," Opt. Lett.10, 98-100 (1985).

神经网络

1950年代还出现了一种与传统编程截然不同的计算模式：人工神经网络(ANN)。作为现代人工智能的基础，ANN受到了脑结构和行为的启发：神经元通过互连形成复杂的网络，而且每个神经都可接收来自很多其它神经元的电流，以此进行复杂和非线性的触发和响应。ANN由类似于神经元的节点组成，而这些节点通过不同的权重整合来自其它节点的信号，并根据非线性激活函数发射相应的信号，从而输入其它节点。网络中还有输入和输出节点，可从外部世界接收或发送信息。

ANN可以像脑一样学习，通过调节权重对特定任务进行优化，比如在输入图像后学习如何分类。脑约有800亿个神经元和1000万亿个连接，而ANN的节点和权重少得多，架构也要简单得多，这样才能对网络进行训练。过去几十年出现的几种典型架构能高效地完成特定任务，并保持神经网络训练在计算上的可操作性。

下面展示了几种人工神经网络结构。最左边是只有一个人工神经元，通过N个输入的非线性组合产生一个输出，而右边是两种常见的结构，分别为多层循环神经网络和前馈神经网络。

在大多数情况下，神经元分布在不同大小和连接数的层级结构中，从最简单的网络到多层前馈神经网络和递归神经网络。最简单的网络包括感知器，也就是N个输入连接单个输出的单层网络；前馈神经网络将神经元组织在连续层中，使信息从一层传递到另一层；循环网络可让信息逆向流动，并反馈到前面的层级中。相邻层的连接可以非常稀疏，特别是卷积层，也可以非常密集。ANN的性能取决于自身结构，比如感知器适用于简单的线性分类，而复杂的任务需要复杂的网络结构。

深度学习

直到21世纪初，人工智能还没有得到任何明确的现实生活应用，但这种情况因为一种强大的架构而改变。这就是深度学习及其衍生网络，即深度神经网络。深度神经网络是一种包含大量隐藏层的层级网络。Yann Lecun、Yoshua Bengio和Geoffrey Hinton已证明深度神经网络能够解决非常复杂得问题：前几层可以预处理输入信息，比如图像轮廓或文本词汇，而更深层可逐渐提炼更抽象的概念，比如识别物体或提取文本含义。

LeCun, Y., Bengio, Y. & Hinton, G. Deep learning. Nature521, 436–444 (2015).

深度学习已经完成了我们过去认为机器永远无法完成的任务，比如击败围棋高手、自动驾驶汽车和语言翻译。需要训练的参数(权重)多达数百亿。如此大规模的发展源自高效训练的反向传播算法。这个概念和深度架构完美匹配，使得深度网络可通过梯度下降算法从最后一层到第一层逐层训练。因此，机器学习有能力处理复杂而庞大的信息；有时也叫做大数据。

GPU和CPU

深度学习和大数据的兴起主要得益于摩尔定律，实现了对超大型神经网络的训练和推理。推动深度学习的一个重要因素是图形处理器(GPU)。GPU最初设计用于计算机图形学，并针对大型矢量和矩阵的并行处理进行了优化。神经网络的训练和推理需要大量的乘法运算，而使用GPU比CPU强大得多。

但是，GPU和CPU非常耗电。研究表明，训练一个神经网络需要五辆汽车的终生耗电量，而在全球范围内，大数据和数据中心的耗电量估计已占到我们能源消耗的4%，并可能在下一个十年内增长一半以上。而且，摩尔定律已正式停滞不前：纳米光刻和晶体管已达到物理极限，能耗和速度方面的改进越来越慢。更糟糕的是，神经网络在CPU和GPU上的执行都存在冯·诺依曼瓶颈：在内存和计算单元之间传输数据的总线最终限制了性能。

冯诺依曼瓶颈

光学机器学习的曙光

为了克服这个根本问题，新的神经形态计算硬件可通过回路直接模拟神经网络的连接和功能，而不用通过CPU或GPU上的程序。这种方法属于非冯·诺伊曼架构，应该更节能、更快速。在神经形态计算的执行方案中，光子学以其独特的优势脱颖而出。

首先，无论是在自由空间或很多材料中，还是在集成波导中，光几乎都能无损耗或无热地传播。这种传播可用于模拟两个神经层的连接，也可用于模拟卷积等。其次，光子之间不会发生相互作用，可实现信息的多路复用，而且功耗与工作频率无关。最后，由于光电子技术的巨大进步，探测器(从快速光电二极管到CMOS相机)、调制器(从高速集成电光调制器到空间光调制器)和光源(激光器)都非常高效且能大规模生产，而半导体产业自然成为了生产光子集成芯片的支柱。

训练光学神经网络

飞秒SHG物理神经网络(PNN)实验装置

Wright, L.G., Onodera, T., Stein, M.M. et al. Deep physical neural networks trained with backpropagation. Nature 601, 549–555 (2022).

当然，光子学仍然面临挑战，尤其是很难在隐藏层中实现非线性，也很难通过集成光子学扩展和调节网络，因此还无法为深度学习提供真正的多功能平台。但光子学技术仍可用于一些专门的实施方案，包括超快小规模网络、成像中的卷积和预处理以及水库计算(一种具有固定权重的循环神经网络)。继1980和1990年代的开创性工作之后，学术界在过去十多年中取得了许多令人印象深刻的成果，而工业界也重新表现出浓厚的兴趣。

比如，LightOn公司提出了一种执行光学机器学习的方案，可在数百万个输入(空间光调制器像素)和数百万个输出(相机像素)之间提供大规模的随机矩阵乘法。它能以数kHz频率工作，相当于每秒进行几百亿次运算(超级计算机的典型运算)，其矩阵大小甚至无法存储在传统计算机的内存中，但耗电量仅为几十瓦。

关于光学机器学习的各种方法，不管基于自由空间还是集成光子学、固定还是可调权重、线性还是非线性效应、浅层还是深层，都在推动机器学习领域的发展。如需这方面的详细介绍，您可点击

来源：江苏激光联盟