清华光电融合芯片算力是GPU的3000多倍？媒体搞出的大新闻

摘要：近年来，人工智能的突破引爆了对高性能GPU的需求。大家都说，要发展大模型，算力是基础，数据是原料。算力从哪来？最直截了当的办法，就是找英伟达去买。有个笑话说，淘金热时最赚的不是淘金的，而是卖铲子的。现在很明显，英伟达就是那个卖铲子的，它的市值已经超过了2万亿美

大家好，我是中国科学技术大学袁岚峰。

近年来，人工智能的突破引爆了对高性能GPU的需求。大家都说，要发展大模型，算力是基础，数据是原料。算力从哪来？最直截了当的办法，就是找英伟达去买。有个笑话说，淘金热时最赚的不是淘金的，而是卖铲子的。现在很明显，英伟达就是那个卖铲子的，它的市值已经超过了2万亿美元。美国商务部还特别针对中国限制GPU性能，连游戏玩家用的RTX 4090都不让卖了。OpenAI的CEO山姆·奥特曼（Sam Altman）甚至说，要融资7万亿美元去造芯片。

中国有没有弯道超车的办法呢？一些媒体注意到，2023年10月25日，清华大学戴琼海院士与乔飞副研究员团队在《Nature》发表论文，介绍了他们的光电融合芯片，叫做ACCEL。一些新闻说这款芯片“算力是商用GPU的3000多倍”，具体是“在包括 ImageNet 等智能视觉任务实测中，相同准确率下，比现有高性能 GPU 算力提升三千倍，能效提升四百万倍，具备超高算力、超低功耗的特点”。

哇，居然有这么好的事！那么问题来了：这是真的吗？

我们先直接说结论：其实这很大程度是误解。然后是一句话的解释：因为这些媒体把ACCEL和商用GPU的算力拿来对比的方法有问题。再多一句话的解释是：他们错误地拿前者的瞬间表现去比后者的持续表现，以己之长攻人之短，当然大获全胜了，但这并不正确。

好，如果你了解这三句话的结论和解释，你的知识水平就超过了99%的人。如果你想深入理解，那需要的功夫可就多了。我的朋友、风云学会会员陈经是一位人工智能专家，他详细调研后在我的科普平台“风云之声”写了一篇文章《清华光电融合芯片算力是GPU的3000多倍？媒体搞出的大新闻 | 陈经》。下面，我就来向大家介绍一下。

首先，来了解一下光电融合芯片以及商用GPU的基本知识。

光电融合芯片，顾名思义，它是一个芯片，但融合了“光”和“电”的特性。芯片有逻辑芯片和存储芯片两大类（还有一类半导体器件是功率放大器，有时也称为功率芯片），高性能GPU就是将计算能力强大的逻辑芯片与多达几十G容量的先进存储芯片封装在一起。

从性质上看，ACCEL是逻辑芯片，功能是计算，而且计算功能限定为图像的模式识别。目前它还是非常专门的逻辑计算芯片，不能做通用计算。

GPU能不能做通用计算呢？以前不行，现在可以。GPU的前身叫“显卡”，处理的是2D屏幕上像素点的显示问题。1999年英伟达推出第一款GPU芯片GeForce 256时，正式提出了GPU的命名Graphics Processing Unit，能够处理许多本来由CPU负责的T&L（Transforming & Lighting，几何光影转换）。此时市场上还是更看重CPU，用CPU来处理图像显示问题（如用CPU实现的“软光栅”算法）浪费了，就用GPU来打辅助，用其多核来并行处理天生适合并行的图像显示问题。

英特尔当时认为，GPU是辅助的，没太大价值，于是干脆和自家的CPU集成在一起卖，叫集成显卡。一般人都不知道自己的机器里有集成显卡，专门买独立显卡的人才比较懂GPU。这可能是英特尔犯的最大错误，到2022年才开始推出独立显卡，和英伟达、AMD抢生意。

到2003年，提出了GPGPU（General Purpose computing on GPU，GPU通用计算）的概念。之后随着GPU能力越来越强，到2010年之后，高性能GPU已经能完成非常多不同种类的计算任务，如图形3D、神经网络、科学计算、云计算、数据中心、AIGC、大语言模型等等，非常通用了。

到这个阶段，高性能GPU就比CPU有用多了，价格也拉开了几十倍。可以说，CPU能算的GPU都能算，而GPU能快速完成的许多计算任务，CPU却算得太慢，等于不行。所以现在的情况是，算力主要靠GPU，简单的任务才会让便宜的CPU干，CPU成打辅助的了。正如《让子弹飞》里的名言：糟了，我成替身了！英伟达的市值超过英特尔的十倍，这就是GPU与CPU重要性易位的直接体现。

下面我们来看，光电融合芯片ACCEL是如何做计算的。它融合了“光”与“电”，其中“光”是指“光子计算”（photonic computing），“电”就是电子。跟电子相比，光子有很多优势，例如没有静止质量，光子之间互相几乎不干扰，不受电磁场干扰等等。在通信业中，光纤就比铜缆的带宽大得多，能耗还小，光通信是成熟应用了。当然电子也有优点，如天生适合二进制逻辑计算，因为有半导体的神奇功能，通过电压变化，器件就能在导通和阻断之间灵敏变化，正好代表了0和1。

稍有计算机知识的人，会很容易理解基于电流、电压的半导体计算。如《三体》中秦始皇的人列计算机，用几个士兵就能演示与、或、非的基本逻辑计算，进而实现加减乘除等数学运算，直到用三千万士兵实现整个计算机系统。

光子其实也可以搞计算，而且是零能耗。上图是一个与“集成电路”类似的“集成光路”，激光器产生的光在各种光学元器件里传输处理，效果相当于计算。你可能会想到我经常介绍的、中国科学技术大学研发的“九章”系列光量子计算机，但它和这里说的光计算并不是一回事。九章也是用光来做计算，但它是利用单个光子的量子特性，如叠加和纠缠。而一般说的光计算，用的还是大量光子的干涉、衍射等经典特性。

例如一束光通过透镜衍射，就可以理解为执行傅里叶变换积分。整个过程是“无源”的，能耗为零，无须如集成电路那样外加电源。再一个例子是马赫-曾德尔干涉仪（Mach–Zehnder Interferometer，简称MZI），可以直接构造出一个2 × 2的矩阵，也是无源的。级联的MZI可以进行矩阵乘法，非常有特性，让MZI成为光计算的基础单元，ACCEL论文里也提到了MZI。这就有些专业了，不象电子世界的二进制逻辑那样容易理解。

陈经的文章长达9000字，其中有2000字是解释马赫-曾德尔干涉仪的。限于时长，我们在这里就跳过这些深入的技术性解读，感兴趣的观众欢迎去风云之声看原文《清华光电融合芯片算力是GPU的3000多倍？媒体搞出的大新闻 | 陈经》。总之，级联MZI可以实现任意矩阵的乘法，如64 × 64的矩阵乘法需要8128个MZI。

近来非常流行的神经网络深度学习，最常用的基础运算是卷积。而透镜衍射的傅立叶变换就可以模拟卷积运算，因此用光学元器件模拟深度神经网络是可行的，这就是光学神经网络（Optical Neural Network, ONN）。图为一个手写数字识别ONN，一个空间光调制器（SLM，Spatial Light Modulator）就相当于深度神经网络中的一层。有一个实体的掩码板（weight mask），等于是权重系数，放在光路中作为系数调制卷积过程。L7作逆的傅立叶变换，把光线聚焦到CCD中的某个区域。运行起来效果是，输入端光线代表的数字，经过透镜与掩码组，最后总能神奇地聚焦到CCD的对应区域。这个过程的数学解释，就是深度神经网络。

光计算有低能耗的特性，但是因为计算机系统没法解读光信号，实际应用时还需要光电转换以及最终输出处理环节。

图为传统的图像识别光计算应用过程，小车的图像是光信号输入，经过MZI光计算、D2NN（就是一种ONN，衍射深度神经网络）处理，形成了特征明显的光信号。但这些光信号要经过很多photodiode（光电二极管）用光电效应转成电信号，再从电信号经ADC（模数转换）变成数字信号进入计算机内存，还要跑一个小型数字神经网络全连接层（在光信号那里做不方便），最终形成识别结果，认出是小汽车。

这个传统光计算应用架构有很多缺点。单论光子是零能耗，但是光电转换和模数转换非常耗能。光线在众多级联MZI、透镜掩码组里传播、干涉、衍射，这个过程并不是很可靠，也就是“非线性”，元器件一多就不灵了。而且也不抗干扰，稍有点环境扰动，结果就不对。相比之下，基于电子的芯片就很靠谱，信号在上百亿个晶体管之间传送都不会错。所以传统的光计算多年来都只能“展示潜力”，如果是关心前沿技术进展的朋友，会经常在文章中看到它，但从来不见它大规模应用。

了解了这些背景，才能明白ACCEL的进步。它巧妙地融合了光子与电子各自的特性优势，所以叫光电融合芯片。ACCEL的全称是All-analog Chip Combining Electronic and Light computing，全模拟电光计算融合芯片，这里的重点是All-analog，全程模拟信号，省去了耗能的模数转换。

ACCEL的图像识别过程，分为OAC（Optical Analog Computing，光模拟计算）和EAC（Electronic Analog Computing，电模拟计算）两个环节。小车的光学图像包含极多光学信号，经过光学元器件阵列，不断进行“特征提取”，相当于用ONN实现深度神经网络运算，在OAC里生成了少量光学信号（但包含了关键信息）。OAC输出的光信号，经过少量光电二极管阵列转换（只有32 × 32个），变成电信号（仍然是模拟信号）。这些电信号在EAC里的SRAM阵列里传输，用巧妙的办法模拟了一个神经网络全连接层。最后电信号形成了简单的脉冲序列输出，完成识别过程。

可以看出，OAC借鉴了ONN的技术，主要的创新是在EAC环节。SRAM是static random-access memory，存储一个比特。EAC模拟实现了一个二值化的神经网络全连接层。全连接是模式识别的深度神经网络最后一层常用办法，EAC里是1024 × N的全连接（1024就是32 × 32个从OAC转换来的电信号，N是需要识别的物体种类数，ACCEL里N小于等于16）。

二值化神经网络连接是说，权重系数只有两种状态（正和负）。每个从光信号转来的电信号，会根据其连接的SRAM存储的比特值是0还是1，决定连到V+还是V-这两条线之一。两条线各有一些电信号连过来，先各自根据基尔霍夫定律合并出电流值，再在输出Node互相比较电流大小，得出一个电压差脉冲输出。如果有N个物体需要分辨，从OAC转换来的电信号会同时接到N组SRAM里，组合出N个脉冲输出。最后脉冲在Comparator里比较，哪个大就代表识别结果是它。神经网络训练，就是根据正确输出结果，告诉EAC，对应Node输出的脉冲大了、小了，反向去修改SRAM里的0和1值。训练好了，1024 × N个SRAM里就存储了一套权重系数，可以用于模式识别了。

整个过程很巧妙，EAC的输出直接就识别好了，不需要再在传统计算机里计算处理。所以，ACCEL芯片实现了完整的图像识别计算过程。它里面有光学信号、电信号，在一级级传输，有个计算过程，但完全没有传统芯片的数字逻辑过程。所以叫做All-analog，全程模拟信号，不需要模数转换。

ACCEL的优点有多种。在OAC环节，光学图像输入包含海量的细节，用透镜和掩码组不断变换，最后就形成32 × 32的小规模输出。这个特征提取过程非常重要，它是光电融合芯片能快速计算的主要功臣，是一个光学过程，光速、低时延、低能耗。这个过程如果用传统芯片来做，需要非常多的晶体管，而且并行不容易，需要GPU加速。光学过程天然就是并行的，而且实现简单。

但OAC的输出是“抽象”的，谁也看不懂。如果导入传统计算机系统里解读，就又引入了传统内存与逻辑芯片的弱点，还不如只用传统芯片处理简单。ACCEL用EAC去解读OAC的输出，用SRAM阵列很简单地就进行了电流计算，最终的电流脉冲结果能和识别结果很好地对应上，这是一个让人叫绝的办法。

架构设计不错，还要评估实际效果。他们对MNIST、ImageNet数据集的几个典型学术研究型案例，评估了运行效果。这些案例包括，10个手写数字的识别、3类图形样例的识别，还有一个视频行为的分类识别。

要注意，芯片架构评估其实不需要实际造出芯片，可以先模拟评估。就如同芯片设计时，可以选用工具软件模拟运行看效果，看设计是否成功。ACCEL的OAC和EAC的信号处理行为，都可以用计算机模拟出来。模拟运行、训练神经网络，验证架构可行性、模式识别效果让人满意，再去实际造出ACCEL。

这种模拟就能发现传统光计算芯片的弱点了。如ImageNet中256 × 256的图像分类识别，对传统光计算架构很困难，因为要放很多MZI，需要的ONN层数较多，会导致光信号在光路上经过的环节过多，非线性特性发作，性能乱套。ACCEL对这类较大的图像还能应付过来，说明架构上比传统光计算要强很多。

但是需要指出，ACCEL模拟评估的标准，就说明它还远没有成熟。这些评估的任务是相对简单的，如对ImageNet中的三类物体进行分辩，栗色马、救护车、衣柜。ACCEL的识别率是80.7%，这听起来不高，但仍然高于它的比较对象、一个传统数字神经网络的75.3%。为什么呢？因为这个比较对象只是一个三层的简单网络。显然这意味着双方离真正应用都很远。现在真正实用的深度学习模式识别的识别率很高，能够处理的图片较大，应用的神经网络层数非常多，跟这种“玩具模型”不是同一层面的。

之后，他们实际造出了ACCEL芯片，进行了评估。但由于其研究型目的，用的工艺是相对简单的。传统光计算芯片的问题是，在制造过程中，会出现光路对齐、信号噪声之类的缺陷，大大影响实际表现。ACCEL由于芯片架构简单，所以在这方面表现好一些，制造引入的缺陷少，信号噪声、低光照条件下表现不错，也是一个优点。ACCEL就算造的不完美，因为权重是根据实际样例训练的，能在训练中纠正一些。

ACCEL制造出来后，在一些测试样例中，识别率表现和模拟评估一致，有的数值稍差一点但可以理解。到这一步，才说明芯片设计和制造是成功的，实现了意图，之后对于优越性能的说明才有意义。

总体来说，ACCEL在识别率方面的性能指标不错。一个特别大的优点是，在低照度的情况下，传统办法全都会失败，但ACCEL还能很好地处理。这是因为其它架构都需要模数转换，信号强度不够就不行了。而ACCEL在低照度情况下，模拟信号仍然能正常地运算。

了解了这么多技术背景，现在我们终于可以深入解读开头的问题了。新闻里说的“算力是商用GPU的3000多倍”，这话究竟对不对呢？其实完全是误导。

首先来理解一下，这个说法是怎么来的。ACCEL的优点是，它就是一个光信号、电信号传播的过程，不象传统芯片那样计算速度受限于“时钟周期”。可以想象，传统芯片的计算过程是一步步的，象机器人一样一个节拍动一下。而ACCEL是一个流水一样的自然过程，几乎没有卡顿，虽然有时钟周期，但不太受限制，只有SRAM存储更新之类的明显需要节拍的地方会用到。

实测下来，ACCEL用2 - 9纳秒就能完成一幅图像的处理。纳秒是十亿分之一秒，百万之一毫秒。通常人们用CPU处理一幅图像识别是几十到几百毫秒，用GPU加速也要几毫秒。也就是说，ACCEL的处理时间只有一般芯片的百万分之一。

所以论文中说，在进行ImageNet三类物体分类时，ACCEL的计算速度约相当于4550 TOPS。TOPS是Tera Operations Per Second，即每秒一万亿次操作。这个速度确实有商用GPU的3000多倍，因为GPU每秒能有一万亿次操作已经很好了。所谓“算力是商用GPU的3000多倍”，就是这么来的。

但真正的问题，在于持续计算。ACCEL确实能在几纳秒之内处理一幅图像的光信号，但它能不能持续运算，真的用一秒时间，完成4550 TOPS的运算量？这就不行了，因为准备任务是需要时间的。例如以它的计算速度，一秒能处理1亿个图片，但把这么多图片的光信号在一秒内发送给它，是不可能的。实际准备一个图片需要的时间就不短，真正的瓶颈是在这儿。

ACCEL芯片是一个光电芯片，它的输入是光信号，要把它运行起来，需要准备好光信号输入，而这是个相当复杂的任务。按论文描述，要搭起光学镜片组，才能将识别目标的光信号输入给ACCEL进行处理，换下一个识别目标要不少操作。而GPU、CPU在计算机系统中应用多年了，处理输入已经很成熟了，所以能将海量数据组织起来，象流水线一样送到运算核心不停处理。高性能GPU的核心技术之一，就是海量数据输入管理，要用到上百G的高速存储器，多级缓存。

所以，论总的算力ACCEL并不大，它只是对整个流程中的一步处理得极快，而这一步快的代价是另一些步骤慢。一个比喻是，一个士兵面前正好有一个敌人，他开枪只用1秒钟就消灭了一个敌人。但这不代表他可以一小时消灭3600个敌人，更不是说他可以一个人顶3000多个人。如果有人说他的“战力”相当于3000多个士兵，这就错得离谱。再一个比喻是，一张弓，可以在1 秒内让箭飞出100米。但不能说它的“运送能力”是1小时360公里，因为没法持续飞。如果射一箭落地后，人走过去再射一箭，这样接力，一小时跑不了多远。

如果是了解可控核聚变的朋友，可能会想到另一个更有技术含量的比喻。可控核聚变有两条途径，磁约束和惯性约束。我们平时经常看到新闻的EAST、ITER等托卡马克属于磁约束，而激光打靶属于惯性约束。2022年12月，美国国家点火装置（NIF）实现了惯性约束的一个里程碑，能量输出超过了输入。然而，这意味着惯性约束聚变能用来发电了吗？其实还差得远。原因有很多，其中之一就是激光打靶是不连续的，聚变反应时间只有几纳秒，而准备一次打靶却要一天（美国NIF激光聚变“点火”成功，聚变电站还远吗？｜DrSHI观科技）。这比“一曝十寒”还夸张，是“一纳秒曝一天寒”，所以总的效率非常低，离实用还很远。

而相比之下，GPU的算力就是真实的，它确实能连续地一直跑，跑到芯片发烫，人人都能听见风扇的声音。GPU应用时，会有配套的计算机系统、应用程序、CUDA驱动支持，有时需要上百G的HBM3快速存储，这都是为了连续处理海量数据。

另一个指标是与能耗相关的。ACCEL几乎不用能量，只有激光、SRAM用一点。论文中给出的能耗指标是74800 TOPS每瓦，这就是新闻中提到的“能效提升四百万倍”。

同样的道理，这种说法也是很误导的。这是因为ACCEL处理整个流程中的一步几乎不用能量，而不是ACCEL真用了与CPU或GPU相当的能量，完成了四百多万倍的运算。一个比喻是，一只蚂蚁用极少的能量就能爬1米，能耗效率比人要高多了。但是人可以把10斤重的箱子提起来，蚂蚁却不可能做到。

最后，我们来总结一下。ACCEL芯片融合了光电的特性，是非常巧妙的芯片架构，技术指标优秀，将光计算的潜力进一步展示。正如论文中提到的，它在可穿戴设备、自动驾驶、工业检测等领域很有应用前景。

但是，一些媒体将指标引申到与GPU对比，认为ACCEL的算力与功耗指标比GPU好得多，甚至暗示ACCEL可能解决先进GPU问题，这就完全误读了。一方面的问题是，GPU有通用计算能力，能完成很多复杂任务，而ACCEL只用于视频与图像模式识别，应用领域较窄。更深入的问题是，指标对比方法错误。这种比法对ACCEL来说是只看到优势，没看到代价，对GPU来说是忽视了GPU连续计算的能力。