摘要：点扫描成像系统是高分辨率细胞和组织成像中使用最广泛的工具之一，点扫描系统的分辨率、速度、样本保存和信噪比很难同时优化。研究表明，可以通过对点扫描系统上采集的欠采样图像使用基于深度学习的超级采样来缓解这些限制，称之为点扫描超分辨率(point-scanning
点扫描成像系统是高分辨率细胞和组织成像中使用最广泛的工具之一，点扫描系统的分辨率、速度、样本保存和信噪比很难同时优化。研究表明，可以通过对点扫描系统上采集的欠采样图像使用基于深度学习的超级采样来缓解这些限制，称之为点扫描超分辨率(point-scanning super-resolution, PSSR)成像。Manor等人设计了一个“蹩脚器”，通过计算降低高SNR、高像素分辨率的真值图像，以模拟低SNR、低分辨率的对应图像，用于训练PSSR模型，从而恢复现实世界的采样不足图像。对于高时空分辨率荧光延时数据，该团队开发了一种“多帧”PSSR方法，该方法使用相邻帧中的信息来改进模型预测。点扫描超分辨率有助于以其他方式无法达到的分辨率、速度和灵敏度进行点扫描图像采集。
该研究围绕点扫描显微镜图像的分辨率提升与去噪问题展开，旨在突破显微成像中分辨率、照明强度和成像速度之间的“永恒折衷三角”。点扫描显微镜因采样机制的限制，在提升分辨率的同时不可避免地增加成像时间和样品损伤，因此亟需高效的图像恢复方法。深度学习近年来已被广泛应用于各类显微图像的超分辨重建和去噪中，但传统方法通常依赖大量高质量训练数据，这在实际应用中代价高昂，尤其是对活体样本而言更具挑战。为此，研究团队提出了一种基于深度学习的训练流程，通过设计“蹩脚器”(Crappifier)对高分辨图像进行下采样并注入噪声，合成训练数据以替代真实LR-HR图像对，显著降低了训练数据获取的成本和难度。实验发现，使用加性高斯噪声合成的数据效果最佳，训练得到的模型在恢复真实欠采样图像方面性能优异。为应对快速动态结构恢复中的闪烁伪影问题，研究还提出基于相邻帧信息的多帧重建方法，提升了高时空分辨率成像质量。
如图1系统评估了不同“crappifier”在点扫描超分辨率模型训练中的表现，并比较了使用人工采集训练数据与合成数据在效果和效率上的差异。在图1a中，研究人员展示了使用四种crappifier生成的训练图像，包括无噪声、泊松噪声、高斯噪声和加性高斯噪声，并将它们与真实采集的低分辨率(LR)和高分辨率(HR)图像进行对比。结果表明，加性高斯噪声能够更真实地模拟实际采集图像的特征。图1b展示了基于不同crappifier训练的PSSR模型在相同测试区域的图像重建效果。与其他类型的噪声相比，使用加性高斯噪声训练的模型表现最佳，其重建图像在视觉上接近地面实况。该图还比较了使用真实LR-HR图像对训练的模型，以及在加性高斯crappifier基础上扩大约80倍训练数据量后模型的表现。实验表明，后者的重建效果最为优异。为了定量分析模型性能，图1c-e报告了在8–16张图像上重复实验后得到的峰值信噪比、结构相似性指数和傅里叶环形相关分辨率。结果表明，加性高斯crappifier所训练的模型在上述三个指标中均显著优于其他噪声类型，具有更好的图像质量恢复能力。图1f以表格形式比较了使用真实图像对训练与使用crappifier生成训练数据在投入时间、成本和操作难度方面的差异。使用真实图像对进行训练不仅耗时长、成本高，而且操作复杂，而使用crappifier进行合成训练则显著降低了这些投入，尤其适用于需要大规模训练数据的场景。
在图2中系统展示了基于点扫描的超分辨率模型在透射扫描电子显微镜(transmission-mode scanning electron microscope, tSEM)图像上的应用流程及其性能评估。图2a概述了整体工作流程：训练图像对由从tSEM获得的高分辨率(HR)图像通过降级函数生成相应的低分辨率(LR)图像，从而构成“半合成”训练对（左列）。这些图像随后输入到一个基于ResNet结构的动态U-Net中进行训练。同时，也采集了真实世界的LR与HR图像对，用于评估模型在真实条件下的泛化性能。在训练完成后，使用LR图像输入模型生成PSSR结果（LR-PSSR），并与对应HR图像对比以衡量模型性能。图2b展示了在半合成测试对上的重建效果。通过将像素尺寸为8 nm的LR图像作为输入，分别获得了传统的16×双线性上采样结果、16×PSSR模型输出，以及在显微镜下以2 nm像素获得的真实HR图像。从宏观视野到放大特写，PSSR模型恢复出的图像在结构细节上与HR图像高度一致，尤其在囊泡等精细结构的还原方面表现优越。右侧图表对66个独立图像的定量分析结果显示，PSSR模型在峰值信噪比和结构相似性方面均显著优于传统方法。图2c进一步验证了模型在真实采集的LR-HR图像对上的性能。与图2b类似，对像素大小为8 nm的LR图像进行双线性插值和PSSR重建后，分别与HR图像进行对比。在突触前钮扣区域，PSSR模型重建出的结构与HR图像高度吻合，甚至能清晰呈现单个囊泡的边缘特征。图表部分则统计了42个独立图像的PSNR与SSIM，PSSR结果始终优于传统插值方法，且差异具有统计学意义。此外，图中还利用NanoJ-SQUIRREL插件的FRC分析方法，基于从相同区域采集的两个独立图像，评估了图像的空间分辨率（n=16），进一步证明了PSSR模型在解析力上的提升。
如图3展示了PSSR模型在多个不同生物样本和成像平台下的泛化能力及其在突触前囊泡检测任务中的表现。图3a–d分别展示了来自不同物种和显微系统的代表性低分辨率、双线性插值以及通过PSSR模型恢复的图像。其中，图3a为来自小鼠脑切片的图像堆栈，由蔡司Sigma VP Gatan SBSEM系统采集；图3b为果蝇切片图像堆栈，通过Zeiss/FEI FIB-SEM成像；图3c为另一组小鼠脑切片图像，同样由Zeiss/FEI FIB-SEM系统获取；图3d则展示了由Hitachi Regulus ssEM成像系统采集的大鼠脑切片拼接图像，尺寸为2048×1024像素。不同图像之间的比较表明，PSSR方法在不同平台、分辨率和样本类型下均能有效地恢复图像细节，提升视觉质量。图3e进一步通过突触前囊泡的检测任务验证了PSSR恢复图像的实用价值。选取的钮扣区域中，分别比较了LR、LR双线性插值、PSSR恢复以及HR地面实况图像，并以此作为突触囊泡检测的输入。检测结果显示，PSSR图像在还原真实结构细节方面更为准确，有效提升了囊泡的检测率。图中还给出了相关性能指标及其P值，结果具有统计学显著性，表明PSSR恢复的图像在实际下游任务中优于传统插值方法。
图4展示了多帧PSSR模型对线粒体动力学成像的增强能力。图4a说明了多帧PSSR训练数据的生成流程：从高分辨率Airyscan时序图像中提取5帧连续图像，合成降质为低分辨率序列，并以中间帧HR图像作为监督标签，形成五对一的训练样本。图4b分析了各模型的时间一致性，显示多帧PSSR模型在与HR图像的相关性和误差评估中均优于其他方法，具显著统计学差异。图4c给出了多个模型在重建线粒体动态过程中出现的错误连接或时间模糊等问题，多帧PSSR模型有效避免了因帧间闪烁和平均模糊造成的伪融合结构。图4d进一步验证了多帧PSSR在合成和真实测试图像中的恢复效果，其重建的细节与HR图像高度一致，尤其能分辨出LR-bilinear与单帧PSSR方法中错误连接的区域。图4e展示了PSSR成功捕捉到的一次瞬时线粒体分裂事件，清晰标注了分裂点。图4f则从PSNR、SSIM和FRC等指标对模型恢复性能进行了定量分析，显示PSSR在合成与真实数据中均显著优于传统方法。图4g和4h分别验证了PSSR对分裂事件检测的敏感性和准确性，表现出更低的漏检和误检率，并与人工计数高度一致。图4i–k通过线性回归分析进一步确认了PSSR模型与HR图像之间良好的相关性，证明其在复杂动态成像中的准确性和稳定性。
如图5展示了PSSR技术在神经元中高时空分辨率成像线粒体运动中的优势。图5a将PSSR结果与双线性插值在半合成数据集和真实世界测试集中进行对比。放大后的感兴趣区域显示，在两个测试集中，PSSR均能更清晰地区分相邻线粒体，且通过归一化横截面剖面图进一步定量支持这一结论。图5b进一步量化了图5a中图像的峰值信噪比、结构相似性及真实世界数据集中的频率响应函数分辨率，验证了PSSR在图像质量上的提升。图5c展示了PSSR在LR延时图像中对神经元内线粒体移动的修复能力，其中箭头标示了线粒体的运动方向。图5d显示了用Mito-DsRed标记的海马神经元中代表性的线粒体运动轨迹，其中每种颜色的箭头代表一个独立线粒体，并记录其融合或裂变行为。图5e则放大展示了d中的局部区域，实时捕捉到了线粒体裂变和融合事件。在图5f-i中，作者基于补充视频8对线粒体运动进行了定量分析。包括线粒体行进的总距离(f)、运动速度(g)、运动时间百分比(h)以及暂停时间百分比(i)，共分析了来自四个神经元、三个独立实验的76至216条线粒体轨迹。统计分析表明，在多个关键运动参数上均观察到了显著差异，进一步验证了PSSR在动态线粒体行为研究中的潜力。
总之，该研究证明了基于深度学习的像素级超分辨率在光学和电子点扫描显微镜中的应用价值。为解决高低质量图像对获取困难的问题，作者引入了“crappifer”方法，从高质量图像生成训练所需的低质量图像。多帧超分辨策略有效缓解了时间伪影问题，提升了图像恢复质量。研究指出，该模型预测依赖训练数据与实际数据的匹配程度，因此模型评估需结合定量指标、分割结果及专家视觉判断。尽管该模型并非完美，PSSR在实际成像中展现了极高的潜力，并有望在多种点扫描系统中推广应用。
科学技术的发展离不开科研仪器的进步。凯视迈（KathMatic）自2014年创建以来，一直“致力于高精尖光学测量技术”，已成为集“研发、制造、销售”为一体的国产高端光学精密测量仪器新力量。推出了KC系列多功能精密测量显微镜、KS系列超景深3D数码显微镜以及KV系列激光多普勒测振系统，取得了良好的市场成绩。详情欢迎留言咨询!
来源：凯视迈精密测量
