摘要：近期，清华大学团队开发了一种新型自监督学习网络 SeReNet（Self-supervised Reconstruction Network），用于光场显微镜及其变体的快速、高分辨率、鲁棒的 3D 重建。

近期，清华大学团队开发了一种新型自监督学习网络 SeReNet（Self-supervised Reconstruction Network），用于光场显微镜及其变体的快速、高分辨率、鲁棒的 3D 重建。

4D 信息先验赋予 SeReNet 在强噪声、光学像差、样本运动等不利条件下，实现了比现有深度学习方法更具优势的泛化能力。而且，相比于传统迭代方法，SeReNet 将处理速度提高了 700 倍，达到毫秒级处理速度。

作为新一代显微镜技术，这一技术突破有望用于细胞生物学、神经科学、免疫学等生物医学成像领域，为活体生物样本的高速、高精度三维成像提供了全新解决方案。

值得注意的是，SeReNet 仅需估计点扩散函数即可适配应用，这种高度通用的特性使其应用范围远超生物医学领域，在高速摄影、天文成像、水下探测等依赖计算成像技术的专业领域同样展现出巨大的应用潜力。

日前，相关论文以《基于物理驱动的自监督学习实现光场显微镜快速、高分辨、鲁棒的三维重建》（Physics-driven self-supervised learning for fast high-resolution robust 3D reconstruction of light-field microscopy）为题发表在 Nature Methods [1]，目前相关代码已完全开源。

清华大学博士后卢志和复旦大学博士生金满昌是共同第一作者，清华大学 戴琼海 院士、 吴嘉敏 副教授和天津大学 杨敬钰 教授担任共同通讯作者。

图丨相关论文（来源： Nature Methods ）

该课题组长期致力于基于光场的活体介观显微镜研究，近年来已开发了一系列成果计算成像仪器成果，包括 SLiM1100 扫描光场显微镜 [2] 和 SLiM2000 共聚焦扫描光场显微镜 [3]、RUSH3D 活体介观显微仪 [4] 等。

然而，领域内的共性问题体现在：早期的方法依赖硬件与算法的松散耦合，重建过程需复杂数学运算，尽管重建质量尚可但速度慢；后期发展的有监督深度学习方案在速度方面提升显著，却受限于特定样本的训练数据需求，这导致泛化能力与成像保真度难以兼顾。

“这些方法需要用户为每种新的样本，重新训练神经网络来学习显微成像与重建过程。”卢志对 DeepTech 解释道。

图丨卢志博士参加生医工交叉方向的学术会议（来源：卢志）

为解决上述问题，该团队在 2021 年 9 月时萌生了创新思路，最终发展出“物理信息嵌入神经网络”的方案。这种自监督深度学习算法无需依赖大量成对训练数据，即可实现更高效的三维重建。

图丨 SeReNet 设计原理（来源： Nature Methods ）

SeReNet 主要由三个模块组成：深度分解模块、卷积神经网络模块和自监督模块。卢志指出，该网络通过结合物理先验信息与多视角图像变化，实现三维体积的高效重建。

这种设计使模型无需标注数据即可学习光场成像的本质物理规律。深度分解模块采用固定点卷积和方向复制策略，用极少参数（169 个）实现精准的深度定位；卷积神经网络模块利用 3D 卷积层恢复高分辨率结构；自监督模块则通过 4D 波前光学点扩散函数约束网络训练，将微观光学衍射物理方程建模到神经网络， 使光场三维重建耗时从迭代算法的分钟级缩短至 50 毫秒。

该技术进一步成功解决了针对实际应用中的五大实用性挑战：噪声环境下的鲁棒重建、样本快速运动导致的伪影（motion artifacts）、光学像差校正、跨样本泛化能力（如斑马鱼、小鼠、果蝇等不同生物样本），以及全自动化重建（无需人工超参数干预）。

具体来说，研究人员专门设计了新的噪声鲁棒损失函数，引入 preDAO 方法校正光学像差，并开发轻量级网络抑制样本运动伪影，同时通过优化的数据集和训练策略实现从仿真数据到真实生物样本的泛化。“这些改进旨在确保技术能在真实场景中实用，而不仅仅停留在论文层面。”卢志强调。

动图丨斑马鱼幼虫剪尾手术后全身免疫细胞活动记录和重建分析（来源：课题组）

在斑马鱼断尾带来的炎症损伤实验中，研究团队观察到一个持续 48 小时的免疫风暴现象，其中中性粒和巨噬两种免疫细胞的动态活动被以每秒 1 个体积的速率完整记录，共获取超过 34 万帧高分辨率数据，首次在国际上清晰呈现了损伤后大规模免疫细胞迁移的完整动力学特征。

需要了解是，传统迭代处理方法需要近两年（约 500 天）才能完成这些数据的重建，而采用新型 SeReNet 技术仅需不到 5 天即可完成。重建视频清晰显示，断尾后数小时内斑马鱼体内的巨噬细胞（绿色标记）和中性粒细胞（黄色标记）数量显著增加并呈现高度活跃状态。

该技术获得审稿人高度评价：“我们对系统的整体性能、作者解决的问题数量以及广泛的应用范围印象深刻。”

动图丨斑马鱼幼虫剪尾手术和对照组全身免疫细胞活动路径追踪（来源：课题组）

SeReNet 技术还展现出对光学像差和样本运动的卓越鲁棒性，这一特性在活体成像中具有关键价值。在小鼠肝损伤模型研究中，研究人员利用该技术成功捕捉到中性粒细胞与 Kupffer 细胞间的精细相互作用以及细胞信号传递过程，这些发现为深入理解哺乳动物先天免疫系统的修复机制提供了全新视角。

据介绍，该技术目前将该技术已嵌入荷湖科技公司产品软件，以提升重建效率，为生命科学研究提供更便捷的工具。

此外，该技术的应用潜力远不止于当前展示的光场成像（基于多视角点扩散函数）。研究人员近期发现，这种方法同样适用于单视角成像系统，原则上只要能够估计点扩散函数，就可以拓展到任意计算成像领域。

图丨小鼠肝损伤实验中免疫细胞和内皮细胞之间的招募行为（来源： Nature Methods ）

在这项研究基础上，该课题组计划在两个方向继续探索：首先是扩大成像尺度，目前技术可覆盖几百微米范围，未来计划扩展至数十毫米级活体介观成像，实现小鼠全器官（如脑、肝脏）的细胞级追踪；其次是结合具身智能技术，让显微镜具备“人”的思维能力，能够对介观世界自主理解和分析，高通量揭示生物规律，助力药物筛选等应用。

来源：东窗史谈一点号