一个可行的光学显微镜隐藏成像机制方案

摘要：光学显微镜图像通过直接观察世界在科学研究中起着重要的作用，其中成像机制被描述为点扩散函数(PSF)和出射光的卷积。基于PSF或等效PSF的先验条件可以实现成像精度的提高。然而，直接从显微图像中提取PSF是一个挑战。于是在自我监督学习的帮助下，该团队提出了一个物

光学显微镜图像通过直接观察世界在科学研究中起着重要的作用，其中成像机制被描述为点扩散函数(PSF)和出射光的卷积。基于PSF或等效PSF的先验条件可以实现成像精度的提高。然而，直接从显微图像中提取PSF是一个挑战。于是在自我监督学习的帮助下，该团队提出了一个物理信息屏蔽自动编码器(PiMAE)，它可以直接从原始显微图像中学习PSF和出射光的估计。该团队证明了该方法在数值模拟和现实实验均具有显着准确性和噪声鲁棒性。PiMAE在合成数据任务中的表现优于DeepSTORM和Richardson-Lucy算法，通过归一化均方根误差(NRMSE)度量测量，平均分别提高了19.6%和50.7%（在35个任务中）。这是在没有PSF的先验知识的情况下实现的，与DeepSTORM使用的监督方法和Richardson-Lucy算法中已知的PSF假设相反。PiMAE提供了一个可行的方案以实现在光学显微镜的隐藏成像机制，并有可能应用于更多的系统。该工作以“Learning the imaging mechanism directly from optical microscopy observations”为题发表于期刊Photonics Research。

PiMAE是一种基于物理信息用于学习光学显微镜的成像机理的掩模式自动编码器，其原理总览图如图1所示。自我监督学习利用数据中的固有结构或模式来学习有意义的表示。有两个主要类别：对比学习和借口任务学习。掩模图像建模(MIM)是一种借口任务学习技术，它随机掩蔽输入图像的部分。最近，MIM已被证明可以从视觉图像中学习可转移的，鲁棒的和广义的表示，从而提高下游计算机视觉任务的性能。PiMAE是一种基于MIM的方法，它根据光学显微镜的成像原理重建原始图像，该成像原理由PSF和出射光的卷积来表示。PiMAE模型由三个关键组件组成：基于视觉变换器(ViT)的编码器-解码器架构，具有掩模层，以防止在估计发射器时出现琐碎的解决方案；卷积神经网络作为PSF估计的先验；显微成像模拟器，实现由PSF和发射器卷积制定的成像原理。PiMAE只需要少量的原始图像进行训练，这要归功于精心设计的损失函数。损失函数由两部分组成：一部分是度量原始图像和重建图像之间的差异，包括绝对差的平均值和多尺度结构相似性；另一部分是对点扩散函数的约束，包括度量点扩散函数连续性的总变差损失和点扩散函数质心的偏移距离。

在PiMAE中，基于ViT的编码器在COCO数据集上进行预训练以提高性能。预训练基于在不包括物理模拟器模块的掩蔽自动编码器上的自监督学。在预训练之后，PiMAE加载经过训练的编码器参数，并使用原始显微图像进行自我监督训练。输入图像大小为144×144像素，该团队使用RDam优化器进行训练，学习率为10-4，批量大小为18。训练运行5×104步。在PiMAE中，图1中的卷积神经网络被随机初始化，以固定的随机向量作为输入，并输出预测的PSF。随着PiMAE进行自我监督训练，卷积神经网络(CNN)的预测PSF变得更准确，更接近真实的PSF，训练结果如图2所示，结果表明，PiMAE可以通过训练过程成功地从原始图像中学习PSF。图2(a)中显示了SPADE的PSF，包括LG模式LG22和HG模式HG22；(b)则为在宽视场显微镜成像设置下的散焦(800和1400 nm)图像，沿着有聚图像。

该团队评估PiMAE在处理标准和非标准PSF显微镜图像在现实世界的实验中的性能。由于无法获得真实的图像位置，该团队使用BioSR数据集来评估PiMAE对标准PSF显微镜图像的处理，并将其与SIM进行比较。然后，该团队使用定制的宽视场显微镜来产生失焦和失真的PSF显微图像，以分析PiMAE在处理非标准PSF显微图像时的性能。在氮空位(NV)色心的宽视场显微成像实验中，532 nm（Coherent Vendi 10单纵模激光器）激光通过定制的精密电子定时快门，灵活控制激光束的持续时间。然后将激光扩展并发送到由偏振膜和半波片组成的偏振模式控制器。通过焦距为150 mm的熔融石英透镜将扩展的激光聚焦在物镜透镜后面的焦平面上。通过科学互补金属氧化物半导体(sCMOS)照相机(Hamamatsu，Orca Flash 4.0 v.3)收集荧光信号。使用手动变焦透镜（Nikon AF 70-300 mm，f/4- 5.6 G，焦距在70和300 mm之间，视场为6.3）作为镜筒透镜来连续改变显微系统的放大率。离焦是影响显微镜成像质量的最常见因素之一。PiMAE能够解决这个问题，该团队通过模拟一系列离焦距离从0到1400 nm不等的宽视场显微镜PSF来证明这一点。该团队还将标准差为0.5倍原始图像的平均值的高斯噪声添加到原始图像中。图3(a)显示了实际的PSF以及Deconvblind和PiMAE估计的PSF。PiMAE估计的PSF与所有离焦距离的实际PSF相似，而Deconvblind的大多数估计的PSF与事实相差甚远，这表明Deconvblind无法解析具有复杂PSF的原始图像在图3(b)中量化了在不同离焦距离处估计的PSF的NRMSE，其中PiMAE实现了比Deconvblind好得多的结果。图3(a)还显示了实际的出射光和Richardson-Lucy算法、DeepSTORM和PiMAE估计的出射光。当离焦距离较大时，PiMAE和DeepSTORM算法的性能明显优于Richardson-Lucy算法。不同模糊距离下的NRMSE如图3(c)所示，其中PiMAE实现了最佳性能，尽管真实PSF是未知的。近期研究发现，使用空间模式分类器，即一种称为SPADE的方法，可以提高成像分辨率。将SPADE用于共焦显微镜等效于使用对应于空间模式的PSF，例如Zernike模式、厄米-高斯(HG)模式和拉盖尔-高斯(LG)模式。然而，SPADE面临着若干挑战，包括需要精确确定空间模式（即等效PSF）、对噪声的高灵敏度以及缺乏用于复杂空间模式的重构算法。PiMAE就能解决这些问题。图3(d)-3(f)显示了噪声为标准差为0.5倍原始图像的平均值的高斯噪声时的SPADE成像结果。PiMAE算法能够准确地估计等效点扩散函数和辐射源，其性能明显优于Deconvblind算法、Richardson-Lucy算法和DeepSTORM算法。因此，PiMAE能够显著地提高SPADE的性能.这些实验证明了PiMAE对于具有未知和复杂成像PSF的场景是有效的。

噪声鲁棒性是评价重建算法的重要指标。该团队在三种情况下评估了噪声鲁棒性：(1)聚焦宽视场显微镜；(2)600 nm离焦距离的宽视场显微镜；(3)拉盖尔-高斯模式LG 22 SPADE成像。每个场景的原始图像包含不同大小的高斯噪声，如图4所。该团队首先比较了去卷积盲和PiMAE估计PSF的结果。该团队发现PiMAE具有出色的抗噪性，在所有测试中的性能都大大优于Deconvblind。然后该团队比较了Richardson-Lucy算法、DeepSTORM和PiMAE估计辐射源的结果。总体而言，PiMAE的性能最佳，仅略低于低噪声下的标准PSF场景DeepSTORMin。当噪声尺度非常小时，Richardson-Lucy算法的性能与DeepSTORM和PiMAE相似。但是，当噪声尺度稍微增加时，其性能会显著下降。这表明了基于深度学习的方法在抗噪性方面优于传统算法。此外，PiMAE法的优势随着噪声尺度的增大和点扩散函数形状的复杂性的增加而增强.

内质网(ER)是真核细胞中由膜包围的通道系统。在BioSR的数据集中，研究人员分别使用宽视野显微镜和SIM在相同的视野中对ER进行成像。图5(a)显示了PiMAE分辨的宽视野显微镜原始图像的结果，结果表明PiMAE估算的辐射源的分辨率与SIM的分辨率相当，后者的分辨率是衍射极限的两倍。图5(b)显示了截面结果，PiMAE估计的发射体的峰值位置与SIM结果的峰值位置相匹配，对应于无法区分的宽场成像结果。这表明，使用PiMAE估计的发射体的宽视场显微镜结果的可分辨性提高到与SIM相似的水平。图5(c)显示了PiMAE估算的PSF结果，其中FWHM为230 nm。其原始图像的荧光波长为488 nm，数值孔径为1.3，与PiMAE估计的PSF的半高宽非常接近。该实验表明，PiMAE可以应用于真实实验，从原始显微镜数据中估计PSF，并进一步提高分辨率。

NV色心是金刚石中的一种点缺陷，广泛用于超分辨显微镜和量子传感。该团队自制了一台宽视场显微镜，在离焦距离为0、400和800 nm处对荧光纳米金刚石(FND)中的NV中心进行成像。在每个离焦距离处拍摄了10张2048像素的原始图像，视野大小为81.92 μm。图6(a)给出了在不同离焦距离处对同一视场中的NV色心成像，图6(b)给出了相应的PiMAE估计发射体。这是PiMAE估计的辐射源的准确性的并排演示。离焦距离在实验过程中发生变化，但视场不变。因此，PiMAE估计的发射体位置在每个离焦距离处都应该是恒定的，如图6(b)和图6(c)所示。图6(d)显示了PSF的变化。PSF的不对称性来自于载物台的轻微倾斜。此外，该团队还给出了了每个场景的PSF横截面。在焦点处估计的PSF的FWHM为382 nm，其对应于384 nm的衍射极限。这表明，PiMAE可以应用于实际实验中，以提高遭受失焦的显微镜的成像能力。此外，该团队通过使物镜与盖玻片不匹配，构建了NV色心的宽视场显微成像的非标准PSF，结果如图6(e)和图6(g)所示。图6(e)显示了成像结果和PiMAE估计的出射光。图6(f)显示了横截面比较的结果。图6(g)显示了PiMAE估计的PSF。该实验表明，PiMAE使研究人员能够使用非标准PSF的显微镜成像。PiMAE分辨非标准PSF的能力扩展了NV色心在量子传感和生物成像等领域的应用场景。

进一步测试的能力ofPiMAE，该团队评估的性能PiMAE复杂的广泛分布的PSF，由字符“USTC”。使用1000张图像作为训练集，100张图像作为测试集。噪声水平设置为标准差为0.01倍原始图像的平均值的高斯噪声。原始图像、PiMAE处理图像的结果以及NRMSE度量的评估如图7所示。PiMAE的表现非常出色，证明了它在困难情况下的有效性。

密集的样本可能对估计PSF和出射光两者构成挑战。该团队设计了具有不同密度的发射器，并采用LG 22作为PSF。如图8所示，可以观察到，随着每个图像中的线条数量增加，PiMAE在估计PSF和出射光方面的性能都会恶化。直觉上，当每幅图像中的行数小于或等于50时，PiMAE表现良好，而行数大于50时，性能较差。这个过程评估了PiMAE上的发射极稀疏的影响。

在这项研究中，该团队介绍了PiMAE，一种新的方法估计PSF和发射器直接从原始显微镜图像。PiMAE解决了几个挑战：它允许从原始数据中直接识别PSF，从而实现深度学习模型训练，而无需真实世界或合成注释；它具有出色的抗噪性；并且它方便且适用广泛，只需大约五张原始图像即可解析PSF和发射器。PiMAE，使用物理知识从原始数据中提取隐藏变量。通过将PSF识别为线性光学系统中的隐藏变量，潜在的物理原理涉及通过发射器与PSF的卷积来分解原始数据。隐变量在真实世界的实验中无处不在，PiMAE通过将掩码自动编码器和物理知识相结合，提供了一个通过自监督学习求解物理系统中隐变量的框架。然而，应该注意的是，PiMAE是一种发射器定位算法，这意味着它需要足够的样本稀疏度才能有效地执行。该团队使用合成数据实验进行了评估，虽然PiMAE表现相当不错，但仍有改进的空间。直接从原始图像中提取PSF和发射器存在模糊性，因此PiMAE选择更简单的发射器分布来学习真实的PSF，这可能会导致伪影。由于PiMAE提供了RL-deconv和DeepSTORM所需的PSF，因此潜在的解决方案可能是将PiMAE与上述方法集成，或者在PiMAE内进行掩蔽自监督训练后进行非掩蔽自监督训练。因此，未来的工作可以集中在进一步增强在密集场景中使用的鲁棒性ofPiMAE。

总之，该团队提出了PiMAE，一种从原始光学显微图像中直接提取PSF和发射体的新解决方案。通过将光学显微镜原理与自监督学习相结合，PiMAE在合成数据实验中表现出了令人印象深刻的准确性和噪声鲁棒性，优于现有的方法，如DeepSTORM和Richardson-Lucy算法。该方法已成功地应用于显微实验，解决了宽视场显微图像与各种PSF。PiMAE能够从原始数据中学习隐藏的机制，在光学显微镜和科学研究中有着广泛的潜在应用。

科学技术的发展离不开科研仪器的进步。凯视迈（KathMatic）自2014年创建以来，一直“致力于高精尖光学测量技术”，已成为集“研发、制造、销售”为一体的国产高端光学精密测量仪器新力量。推出了KC系列多功能精密测量显微镜、KS系列超景深3D数码显微镜以及KV系列激光多普勒测振系统，取得了良好的市场成绩。详情欢迎留言咨询!