摘要：TPU（Tensor Processing Unit，张量处理单元）是一种由谷歌开发的专用芯片，专为加速人工智能和机器学习任务而设计。TPU通过优化张量操作（即多维数组的计算），显著提升了机器学习任务的性能，特别是在深度学习领域中表现尤为突出。

TPU（Tensor Processing Unit，张量处理单元）是一种由谷歌开发的专用芯片，专为加速人工智能和机器学习任务而设计。TPU通过优化张量操作（即多维数组的计算），显著提升了机器学习任务的性能，特别是在深度学习领域中表现尤为突出。

TPU采用脉动阵列架构，这种设计使得数据可以在芯片上高效流动，类似于心脏供血的方式，从而提高了计算效率。与传统的CPU和GPU相比，TPU专注于大规模矩阵运算和卷积操作，减少了对缓存、分支预测等通用计算任务的支持，从而降低了功耗并提高了计算速度。

TPU的核心计算单元是矩阵乘法单元（MXU），每个单元包含多个8位乘积累加器（MAC），能够高效执行矩阵乘法和卷积运算。此外，TPU还采用了低精度计算（如8位整数或16位浮点数），以减少晶体管数量和功耗，同时保持较高的计算效率。

TPU的设计不仅适用于云端大规模训练和推理任务，还扩展到了边缘设备，如Edge TPU，用于手机和其他嵌入式设备上的AI推理。谷歌不断迭代TPU芯片的性能，最新一代TPUv5p在计算能力、内存带宽和能效方面都有显著提升。

TPU是一种专门为AI计算优化的ASIC芯片，通过其独特的架构和低精度计算方式，在深度学习任务中提供了更高的性能和能效比，成为AI领域的重要加速器。

TPU芯片的脉动阵列架构通过数据的流水线式处理实现高效的矩阵乘法计算，从而显著提高计算效率。具体来说，脉动阵列由多个同构的处理单元（PE）构成，这些处理单元呈阵列状排列，数据在其中像血液一样流动并被处理。每个处理单元执行A×B+C的运算，其中A为输入像素数据，B为滤波器权值，C为相邻单元的输出部分和。这种设计使得TPU能够在每个时钟周期内处理多个乘法-累加运算，大大提高了计算效率。

脉动阵列通过将数据错位输入，实现了矩阵乘法的高效计算。例如，在Cloud TPU v2中，有两个128x128的脉动阵列，集成了32768个16位浮点值的ALU。这种设计减少了数据访问次数，提高了计算效率。此外，脉动阵列通过复用输入数据，实现高效的乘加运算。对于4×4的矩阵乘法，通过在传播路径上添加寄存器，确保计算结果的正确性。

与传统的CPU和GPU相比，TPU的脉动阵列架构具有明显的优势。TPU v1在服务器环境中的性能更优，尤其是在推理场景下，能够提供更低的时延和更好的用户体验。TPU v1的MXU（矩阵乘法单元）能够提供256x256x8位的乘加计算，每个时钟周期输出256个16位的计算结果，累加器设计为4MiB，以存储MXU计算后的结果。这种设计使得TPU在每秒计算次数、片上缓存和量化技术方面表现出色，能够有效利用神经网络的鲁棒性，提高推理效率。

TPU（张量处理单元）与传统CPU和GPU在性能和功耗方面的具体比较数据如下：

速度：

TPU的速度比CPU和GPU快15到30倍。

例如，Google的TPU v4每秒可执行高达700万亿次操作（TOPS），而NVIDIA的A100 GPU每秒可执行312 TOPS。

每周期运算量：

CPU：数个

CPU（向量扩展）：数十

GPU：数万

TPU：数十万。

功耗：

NVIDIA Tesla V100：每张卡消耗约250瓦特。

NVIDIA A100：每张卡消耗约400瓦特。

谷歌云TPU v3：每个芯片消耗约120-150瓦特。

谷歌云TPU v4：每个芯片消耗约200-250瓦特。

能效比：

TPU的能效比（每瓦特能量消耗执行的tera-操作）比CPU和GPU高30到80倍。

例如，TPU v4的功耗为250瓦，每秒可执行高达700 TOPS，而NVIDIA的A100 GPU功耗为400瓦，每秒可执行312 TOPS。

TPU芯片中的矩阵乘法单元（MXU）和8位乘积累加器（MAC）是其核心计算组件，负责高效执行大规模的矩阵乘法和累加运算。以下是它们的具体工作原理及其对性能的影响：

矩阵乘法单元（MXU）：

结构与功能：MXU是TPU的核心计算引擎，由256x256个MACs组成，每个MAC可以执行8位整型的乘法和加法运算。这些MACs可以并行执行多个矩阵乘法，针对机器学习模型中常见的矩阵大小和形状进行了优化。

脉动阵列架构：MXU采用独特的脉动阵列（Systolic Array）架构，专为高效处理大规模的Int8矩阵加乘法运算而设计。这种架构使得数据在每个时钟周期内流动，减少了延迟并提高了计算效率。

性能影响：由于MXU的脉动阵列架构，它能够在一个时钟周期内完成256x256的8位数据乘法和加法操作。然而，当使用8位权重和16位激活函数时，计算速度会减半；当两者都是16位时，计算速度会降至四分之一。

8位乘积累加器（MAC）：

工作原理：每个MAC可以对有符号或无符号的整数执行8位乘法和加法运算。计算结果为16位，存储在下方的32位累加器中。

累加器结构：累加器模块是一个4MB大小的32位宽累加器，包含4096个256元素的累加器。这个累加器用于收集每个时钟周期产生的部分和，并将结果存储在统一缓冲器中。

性能影响：由于累加器的双缓冲机制，MXU可以在不访问内存的情况下进行计算，从而提高了计算效率。此外，累加器的大小和位宽确保了足够的存储空间和精度，以支持复杂的神经网络模型。

整体性能优化：

内存管理：TPU通过片内权重FIFO从片外DRAM读取权重参数，并通过统一缓冲器缓存中间结果，减少了对主内存的访问频率，从而提高了计算效率。

利用率与面积效率：在TPU v2中，MXU的尺寸从256x256调整为128x128，以提高利用率和面积效率。四个128x128的MXU在卷积模型中的利用率明显高于单个256x256的MXU。

TPU中的MXU和MAC通过高效的脉动阵列架构和双缓冲机制，实现了大规模矩阵乘法和累加运算的高性能和高效率。

根据提供的信息，无法回答关于Edge TPU在手机和其他嵌入式设备上的AI推理应用案例的具体问题。虽然有几篇文献提到了Edge TPU和其在边缘计算中的应用，但没有具体提到在手机或其他嵌入式设备上的实际应用案例。

然而，可以总结一些与Edge TPU相关的背景信息：

Edge TPU的背景和功能：

Edge TPU是Google推出的一款专为AI推理设计的加速器，采用Google Tensor Processing Unit（TPU）架构，配备专用硬件加速器，以实现高效神经网络推理。

Edge TPU适用于智能摄像头、机器人、自动驾驶汽车、智能音箱等嵌入式和移动设备，提供高效AI推理能力。

Coral平台和Edge TPU的应用：

Google于2019年推出了Coral平台，结合定制硬件、开源软件和AI算法，提供边缘计算AI解决方案。

Coral平台包括Coral Dev Board和Coral USB Accelerator，这些设备可以用于原型设计和机器学习推理。

Coral Dev Board是一款带有可拆卸系统模块（SOM）的单板Linux计算机，其中包含Edge TPU，允许开发者原型化应用并将其集成到自己的设备中。

Coral USB Accelerator是一款USB配件，可将Edge TPU添加到任何兼容的Linux计算机上，如Raspberry Pi Zero。

Edge TPU的性能和优势：

使用Edge TPU进行推理，性能比CPU快70至100倍。

Edge TPU增强了Google的云TPU和云物联网，以提供端到端（云端到边缘，硬件+软件）基础架构，促进基于AI的解决方案的部署。

Edge TPU的市场前景：

市场分析师预测，到2024年，边缘AI芯片和计算机销量将增长至15亿块，本地化AI价值日益凸显，尤其是在保护用户隐私和降低带宽成本方面。

最新一代TPUv5p的计算能力、内存带宽和能效比的具体提升数据如下：

计算能力：

在bfloat16精度下，TPUv5p可以提供459 teraFLOPS（每秒可执行459万亿次浮点运算）的算力。

在Int8精度下，TPUv5p可以提供918 teraOPS（每秒可执行918万亿次整数运算）。

内存带宽：

TPUv5p支持95GB的HBM内存，带宽高达2.76 TB/s。

能效比：

相比上一代的TPU v4，TPUv5p实现了每秒浮点运算次数提高一倍，内存带宽是前代的三倍，训练大模型速度提升2.8倍，并且性价比是前代的2.1倍。

来源：小茵论科技