摘要：在众多射击类游戏中,比如反恐精英、穿越火线、APEX、绝地求生、守望先锋等，“透视挂”作为一种能看见墙后与地下的人和物的非法辅助程序，严重打破了游戏平衡，着实不讲武德!因而遭受大量玩家的抵制，被各路官方封杀！

在众多射击类游戏中,比如反恐精英、穿越火线、APEX、绝地求生、守望先锋等，“透视挂”作为一种能看见墙后与地下的人和物的非法辅助程序，严重打破了游戏平衡，着实不讲武德!因而遭受大量玩家的抵制，被各路官方封杀！

图：透视挂的效果展示

但在现实生活中，热成像、X射线成像、超声成像、核磁共振成像等经典成像技术却受到追捧，对应的红外热成像仪、安检仪、B超、核磁共振成像仪等产品也被广泛用于各行各业。真是同效不同命。

图：红外热像仪及成像效果展示

然而，这些经典成像技术或多或少存在一些不足，例如，热成像存在分辨率有限、易受环境干扰、低发射率物体需要算法补偿等问题；X射线成像存在辐射危害、易受对比度干扰、成像维度单一等问题；超声成像存在图像质量依赖操作者、穿透深度有限等问题；核磁共振成像存在设备昂贵复杂、检查时间长、有禁忌症（比如体内存在金属植入物）等问题。因此，科学家踏上了寻找更优解的道路。

最终，科学家们找到了他们的缪斯——非视域成像（non-line-of-sight (NLOS) imaging），其能够通过分析从多个表面散射的间接路径上的光来重建被遮挡物体的三维图像。这种技术突破了传统光学成像技术的视域限制，允许对视域之外的区域进行成像，在灾难救援、生物医学、勘探建设、车辆导航及安防等领域具有重要应用价值。

因此，该技术得到了来自美国国防部高级研究计划局（DARPA）等单位的多个项目的支持，比如，DARPA在2015年5月发布了“通过主动光场实现能见度的革命性提升”（REVEAL）项目。2020年，非视域成像更是被《科学美国人》（Scientific American）选为“十大新兴技术”（Top 10 emerging technologies）。

图：REVEAL项目

非视域成像的三条技术路线

非视域成像自2009年由麻省理工学院的Kirmani等人首次提出以来，受到社会各界高度重视。2012年左右，麻省理工学院媒体实验室（MIT Media Lab）Velten等人首次实现了非视域成像的原理性验证。

一般而言，研究者们通常选择主动发射一束激光到一个可见光墙面上，这堵墙将光散射到隐藏的场景，再被隐藏目标散射回到墙面，最后墙面将光子散射回到探测器，被探测器接收。对接收到的光子，利用算法进行计算处理来实现成像。因此存在三个难点：①漫反射导致光的空间信息发生散射；②微弱信号难以探测；③计算成像算法设计较为复杂。最开始，研究者们使用飞行时间、单光子探测、成像算法这三大“法器”来应对上述挑战。

之后，随着超快激光发射和探测技术的不断进步，加之受到激光雷达和散斑成像等技术的启发，美国的斯坦福大学、波士顿大学、卡内基·梅隆大学，英国的赫瑞-瓦特大学，中国的清华大学、中国科学技术大学等院校相继提出新的非视域成像方法。目前，已诞生三条主流技术路线：基于飞行时间的非视域成像、基于相干信息的非视域成像（含基于散斑图案和空间相干两种方法）、基于强度信息的非视域成像。下表汇总了三种技术路线各自的优劣势：

表：三种非视域成像的特征

发展至今，已取得了众多的成果，下表汇总了部分重要成果（成果对应的论文参见原综述）：

表：非视域成像系统

目前，基于飞行时间的非视域成像技术最为成熟，接下来将着重阐述这一技术路线，并对其他两种技术的原理及进展加以说明和展示。之后，对比非视域成像与经典成像的优劣。最后，展示非视域成像的应用场景。

2009年，麻省理工学院Ahmed Kirmani等人提出一种瞬态成像方法，成像光路如图所示。该方法采用脉冲照明，获取时间序列图像，利用飞行时间和光传输的多路径分析，开创了通过时间图像分析重建场景的算法和系统，将飞行时间应用于非视域成像。

图：瞬态成像光路

发展至今，基于飞行时间的非视域成像通常利用超窄脉冲激光，扫描可视区域的墙面、门或窗等中继面，以它们为媒介使光传播至物体，最终由条纹相机或单光子雪崩二极管等高时间分辨探测器采集自然返回的飞行时间（ToF）信号，通过单光子飞行时间和扫描点坐标等信息重建非视域目标表面轮廓。

这里提到的条纹相机（streak camera）是一种超高速探测器，能够采集极短时间（飞秒量级）内发生的光发射现象、测量光脉冲强度随时间的变化，因此常用于超快系统的脉冲持续时间测量，例如光谱时间分辨系统和激光测距系统等。

图：条纹相机

单光子雪崩二极管（single-photon avalanche diode，SPAD）则是一种类似于光电二极管的半导体光感测器，具有较大的偏置电压，单个光子的吸收会导致雪崩击穿，从而导致载流子倍增、产生较大的电流信号。

图：单光子雪崩二极管

以下是基于飞行时间的非视域成像的典型工作原理：

1、光传播：来自光源（例如，激光器或其他发光器件）的光被发射到场景中。这种光通过环境传播，并与各种表面和物体相互作用。

2、散射和反射：当光遇到表面和物体时，它会经历散射和反射。一些光线可能会从这些表面和物体上反弹，并沿着一条路径移动，最终到达相机或传感器。

3、飞行时间的检测：测量发射光的飞行时间（即光脉冲从光源传播到隐藏物体并返回到探测器所需的时间）。时间延迟提供了关于光所经过的距离的信息。

4、数据收集：非视域成像系统收集关于光子（单个光粒子）到达探测器的时间的数据。这些数据包括关于时间延迟和被探测到的光子数的信息。

5、计算重建：采用先进的计算算法对收集到的数据进行处理，重建隐藏的对象或场景。这种重建包括根据飞行时间数据、光的已知属性和场景的几何形状来估计隐藏物体的三维形状、外观或运动。

6、迭代优化：非视域成像通常涉及迭代优化技术。这些算法通过迭代调整参数来细化初始重建，直到估计的对象或场景与观测数据紧密匹配。

7、可视化：非视域成像的最终输出通常是隐藏对象或场景的重建图像或三维模型。这允许研究人员或用户可视化和分析以前隐藏的信息。

在算法方面，早期非视域成像使用反投影图像重建算法，利用飞行时间统计直方图和中继面上的采样点坐标等信息，通过迭代相加方式计算得到体素空间的反照率并重建图像，是飞行时间方案的一种主流算法。近年来，越来越多计算成像方法被应用于飞行时间非视域成像，其中遮挡成像和压缩感知技术显著提高了光子利用效率，缩短了信号采集时间。快速反投影提升了重建速度；椭球模式分解反投影针对多目标场景消除混叠伪影的影响，提高了多目标场景下物体边缘轮廓重建的图像清晰度；迭代反投影提升了重建分辨率，但重建时间增加。随着飞行时间非视域成像研究的深入，非视域成像系统及算法也不断发展。小孔成像法利用单一光路实现对运动物体的成像和追踪；光波传播模型和神经网络等方法的应用，使非视域成像能应用于更复杂的场景；阵列SPAD提升了采集速度，结合优化后的快速算法，可实现动态成像追踪。

2019年8月，威斯康星大学Andreas Velten团队提出一种基于相量场虚拟光波的成像算法，通过求解Rayleigh Sommerfeld衍射（RSD）积分进行隐藏目标的重建。该算法对每个扫描点的采集时间仅需10 ms，重建分辨率达10 cm，使非视域成像系统可应用于存在多个中继面和遮挡物等更复杂的场景，有望不受实验室条件限制。

2021年3月，中国科学技术大学潘建伟院士、窦贤康院士、徐飞虎教授团队从光学系统和重构算法同时出发，通过系统性的设计远距离成像解决方案，发展出高效率、低噪声的非视域成像系统以及高效的成像算法，在国际上实验实现了1.43公里的远距离非视域成像，相比先前的实验结果提升了三个数量级，首次将成像距离从米级提高到公里级。

2021年9月，清华大学戴琼海院士、方璐教授团队使用一种新颖的SPAD阵列和一种基于优化的计算方法来实现每秒20帧（fps）的非视域重建。成像系统的高效率大大缩短了每帧的采集时间。前向投影优化方法从SPAD阵列收集的低SNR数据中稳健地重建非视域场景。在广泛的动态场景中进行了实验，并与共聚焦和相场方法相比，在相同的曝光时间内，所提算法在最先进的方法中表现出优异的性能。为了更好地分析和验证系统，还使用模拟场景，通过PSNR、SSIM和总变化分析等定量基准来验证优势。

2022年7月，西班牙萨拉戈萨大学Luesia等人提出一种基于相量场的成像算法，该算法实现多个非相干散射光源的鲁棒性重建，在能见度较差的条件下，实现了在不同的散射介质下非视域场景重建。

2023年11月，天津大学杨敬钰教授、胡小龙教授团队展示了一种使用分形超导纳米线单光子探测器的原理验证非视域成像系统，该系统在超宽光谱范围内表现出固有的单光子灵敏度。他们展示了1560和1997nm两种波长的非视域成像，这两种波长对于特定应用都具有技术重要性。此外，他们还开发了一种去噪算法，并将其与光锥变换算法相结合，以显著提高信噪比的方式重建了隐藏物体的形状。

2024年7月，哈尔滨工业大学靳晨飞教授团队提出了一种基于从空间频率和时间频率到空间和时间的球形切片变换的非共聚焦非视域成像方法。模拟和实验结果表明，所提方法具有高分辨率重建能力，无伪影干扰、形状畸变和位置偏移。此外，它具有很强的场景适应性。GPU加速后，对于具有32×32个检测单元的PF32光子阵列相机，所提方法的重建时间可以减少到几百毫秒。

2024年9月，清华大学付星教授、史作强教授、邱凌云助理教授团队提出的一种混合超分辨率管道，用于仅8×8扫描点的图像重建和质量增强。此外，他们还实现了非同轴收发器配置，并说明了第一种用于实验室外非视域装置的自动校准方法，该方法仅花费40s，并且在18.69m的距离上表现良好。

2024年11月，中国科学技术大学潘建伟院士、窦贤康院士、徐飞虎教授团队提出并展示了一个用于实现房间大小场景的高质量非视域视频的频谱滤波和运动补偿框架，旨在实现房间大小场景的高质量非视域成像视频。频谱滤波利用基于波的模型在频域中进行去噪和去模糊，从而能够使用少量采样点进行计算图像重建。使用交错扫描方案定制的运动补偿可以在采集低质量图像序列期间计算高分辨率实时视频。研究人员以4fps的速度演示各种动态真实场景的实时非视域成像视频。这些结果标志着向实时、大规模和低功耗非视域成像和传感应用迈出了一大步。

事实上，现在基于SPAD的非视域成像产品已经走向应用，例如，国盾量子推出的单光子成像和非视域成像系列产品采用InGaAs制成的SPAD作为探测单元，实现了近红外波段单光子灵敏度的探测。通过发射皮秒脉宽的脉冲以及采用TCSPC技术，实现了对光子飞行时间皮秒精度的测量，处于国内领先水平。

图：单光子成像产品

近年来，一些专家学者发现，光线在经过散射后，部分相干信息仍得以保留，因此，他们尝试使用光线中的相干信息来实现非视域成像。基于相干信息的非视域成像可以分为基于散斑图案和空间相干两类。基于散斑图案的非视域成像使用相机作为探测器，利用散斑图案携带的角度信息来重建图像；基于空间相干的非视域成像需要使用干涉仪来探测相位信息以重建图像。

首先介绍基于散斑图案的非视域成像。由于物体表面的不均匀性，经表面反射或散射的相干光波的叠加会产生随机的散斑图案，经中继面散射后获得的散斑图案保留了目标的角度相关信息，即角度“记忆效应”，原理如下图所示。近年来提出的一些诸如全息扫描和光学相干层析扫描等技术均利用这些散斑图案重建物体表面。随着非视域成像的发展，一些团队尝试将散斑成像应用于非视域目标物体的图像还原，也有一些团队在点扩散函数或解卷积下实现非视域成像。

图：通过散斑关联实现穿过强散射层的非侵入性成像的概念图和数值示例

2014年8月，Katz等人发现角度“记忆效应”可以应用于空间非相干光源。在实验中，他们采用赝热光源，该光源系统由532 nm波长的连续激光器、50倍望远镜及一个快速旋转的扩束器组成。光源放置在非视域场景中，即非视域成像中的被动照明模式，光源直接照射具有一定形状的目标纸板，探测部分则由sCMOS相机和一块用于提高散射光对比度的线性偏振片组成。

图：在两个扩散器之间包围的物体的非侵入性成像。

2020年3月，Jacobs公司Divitt等人提出了一种中波红外（MWIR）的非视域成像系统。该系统无须主动照明物体，使用双光谱和相位检索方法对MWIR宽带热物体的散斑图案进行成像。在MWIR中，由于角度“记忆效应”对波长的依赖性，视场角相比可见光波段增加了约1个数量级。另外，他们还在可见光不可透过的材料的遮挡下，使用MWIR光穿过遮挡对物体进行成像，验证了非视域成像在有遮挡物情况下重建图像的可行性。

2023年6月，清华大学付星教授、史作强教授、邱凌云助理教授团队提出了一个用于非视域成像的贝叶斯框架，该框架对照明和检测点的空间模式没有特定要求。通过引入虚拟共聚焦信号，设计了一种共聚焦互补信号-对象协同正则化（CC-SOCR）算法，用于高质量重建。该方法能够在一般中继墙下重建隐藏对象的反照率和表面法线，并具有精细的细节。此外，就该方法而言，对于常规的中继墙表面，粗略而不是密集的测量就足够了，因此可以显著减少采集时间。正如多个实验所证明的那样，所提出的框架大大扩展了非视域成像的应用范围。

2023年10月，中国科学院西安光学精密机械研究所姚保利教授团队提出了一种基于散斑关联的方法来实现白光照明下的非视域成像。通过将传统散斑关联成像（SCI）与Zernike多项式拟合相结合来处理原始散斑图案（即ZPF-SCI方法），以增强计算自相关的性能。

其次，介绍基于空间相干的非视域成像。干涉仪可以测量光波的相位信息，利用空间相干性可以重建相机视野内的场景，空间相干性是指光波在不同传播位置存在的一定相位关系。在经过漫反射后，光波的空间相干性得以保持，因此使用干涉仪作为探测器探测光波的相位信息，可以用于非视域成像。

2018年9日，美国佛罗里达大学Batarseh等人基于空间相干性提出了一种被动非视域成像方法，系统原理如图所示，使用带宽为30 nm、中心波长为525 nm的大功率LED和一个漫射器进行照明，探测器为望远镜系统和Sagnac干涉仪所组成的如图所示的双相 Sagnac干涉仪（DuPSaI），通过两次测量确定复合空间相干函数（SCF）的实部和虚部。利用蒙特卡罗方法，该方法估计SCF在多重散射介质中的变化。研究成果验证了光的空间相干性经过散射后不会完全消失的结论，且该方法在理论上可以在自然光照明下实现完全被动，获得非视域场景的信息。

图：基于相干信息的非视域成像。（a）系统原理图；（b）DuPSal实验装置图

2019年6月，美国Beckus等人提出了一种基于多模态数据融合的非视域成像方法，系统原理如图所示。该方法将非视域场景中的强度和空间相干性信息结合起来，构造一个多准则凸优化问题，利用光传播和散射模型以及多种条件下图像的稀疏性，针对凸优化问题提出了一种基于乘子交替方向法的解法。实验中使用CCD相机测量场景中的强度信息，由DuPSaI测量散射光的SCF，最后通过图像融合技术重建非视域场景。

图：多模态非视域成像。（a）系统原理图；（b）强度图；（c）仅使用强度的重建；（d）散射相干测量；（e）融合重建

2024年6月，中国科学技术大学潘建伟院士、窦贤康院士、徐飞虎教授团队展示了使用梳状校准相干传感器进行非视距成像和测振的研究成果，他们提出并演示了用于高分辨率非视域成像、测速和测振的相干方案——通过光学频率梳校准的调频连续波。他们的梳状校准相干传感器可在亚皮秒内提供系统时间分辨率，其卓越的信噪比允许在强环境光下对复杂场景进行非视域成像。展示了亚毫米级非视域定位和3D成像的能力，并展示了精度为十几赫兹的非视域测振传感。并且，这一方法解锁了相干LiDAR技术，广泛用于成像科学和光学传感。

2024年12月，南京理工大学柏连发教授、韩静教授团队提供了一个双光耦合模型来描述光子在自由空间中的时空传播，然后提出了一种高效的非共聚焦变换算法，建立了一个非共聚焦时空边界迁移模型。基于这些，提出了一种免扫描边界迁移方法。该方法的数据采集速度可以达到151fps，比目前最快的数据采集方法约快7倍，同时整体成像速度也可以达到19fps。快速免扫描采集带来的背景稳定性使该方法适用于动态场景。此外，该模型对噪声的高稳健性使该方法具有白天在室外环境中非视域成像的能力。为了进一步提高该方法在实际场景中的实用性，他们利用统计先验，提出了一种即插即用的超分辨率方法来提取更高的空间分辨率信号，在不影响成像质量的情况下，将探测器阵列要求从32×32降低到8×8，从而降低了探测器的设备费用。

基于强度信息的非视域成像使用传统相机作为探测器，其成像方法主要有两种：一种是在非视域空间放置大小和形状已知的遮挡物，使用半影成像技术重建图像；另一种是直接获取非视域场景的光强度信息，将信息导入训练后的模型恢复图像。

2012年，美国麻省理工学院Velten等人最先研究了光强在非视域成像的应用，发现对于漫反射面，需要相机具有很高的灵敏度。由于灵敏度限制，一般通过遮挡物实现被动非视域成像。另外一些学者提出可利用中继面和物体的双向反射分布函数（BRDF），实现基于强度信息的非视域图像重建。

图：基于强度信息的非视域成像的实验装置

近年来，深度学习和神经网络等算法的广泛应用促使一些研究团队开始探索基于强度信息的非视域成像技术。这些研究主要集中在两个方向：一是通过直接利用遮挡物和非视域场景反射回来的光线进行被动式照明，以实现成像；二是通过使用手电筒、车灯等日常生活中的光源，通过中继面主动照射非视域场景，进而实现成像。

2019年1月，美国波士顿大学Saunders等人使用半影成像技术，在非视域空间放置大小和形状已知的遮挡物，使用数码相机对隐藏目标进行图像重建。他们所提出的方法使非视域成像不再受光源及扫描采集的限制，并且重建出了彩色二维图像。

图：基于数码相机的非视域成像。（a）相机拍摄图片；（b）遮挡物位置的估计；（c）重建结果

2023年3月，美国史蒂文斯理工学院Yu-Ping Huang团队采用深度学习的压缩非视域成像，开发了由深度学习实现的压缩非视域成像。与传统方法相比，使用显著缩小的数据（扫描点）可以通过卷积神经网络（CNN）以卓越的重建质量重建非视域目标的二维图像（像素），其采样率较低。CNN是纯粹使用模拟数据进行端到端训练的，但对于使用实验数据进行图像重建具有鲁棒性。

2024年2月，美国南佛罗里达大学John Murray-Bruce团队提出了一种使用普通相机进行三维全彩非视域成像的方法，该方法依赖于新的测量采集策略、场景表示模型和定制重建方法的互补组合。根据隐藏场景照亮的无光泽视线表面的普通照片，他们的方法通过利用结构的两个正交边缘沿方位角和仰角获得横向分辨率，重建隐藏在遮挡结构后面的场景的三维图像角度和信息正交场景表示，以实现精确的范围分辨率。

相比于经典成像技术，非视域计算成像具有以下几个显著优缺点：

表：非视域成像与经典成像的优缺点比较

非视域成像的应用场景非常丰富，虽没有经典成像那么日常，但大多无法被经典成像取代：

1、自动驾驶：在自动驾驶汽车（自动驾驶汽车和无人机）的背景下，非视域成像增强了感知能力。它可以帮助车辆检测出隐藏在其直接视线之外的行人、车辆或障碍物，从而提高安全性和导航能力。

2、灾难救援：非视域成像对于定位和救援被困或隐藏在灾难场景、倒塌的建筑物或其他紧急情况下的个人至关重要。它可以帮助反应者识别障碍物后的幸存者的位置。

3、安防监视：非视域成像可以在军事国防、城市安全、边境巡逻或监狱监控中，帮助监视和安全应用。它可以检测和跟踪被墙壁、建筑物或其他障碍物阻挡的个人或物体，加强公共空间和建筑物的安全措施。

4、医疗成像：在诸如内窥镜和微创手术等医疗成像应用中，非视域成像可以用于非侵入性地探测人体内部结构，尤其是在X射线无法穿透的区域。它们允许医生可视化和导航在体内，以诊断和治疗疾病。例如西门子的Symbial Intevo6型SPECT/CT，它将单光子发射计算机断体层显像SPECT和CT有机融合在一起的一体化高端无创影像检查设备，可以应用于骨骼、心脏和肿瘤等多种临床疾病。

5、考古与文物保护：成像可用于探索考古遗址，恢复隐藏的结构、文物或铭文，而不会对遗址造成物理干扰。

6、工业检测：在制造业中，非视域成像可用于检查隐藏或难以到达的区域，如管道、机械和基础设施。它有助于识别缺陷和进行维护，而不需要拆卸设备。

7、虚拟现实：在虚拟现实（VR）和增强现实（AR）应用中，非视域成像可以帮助提高虚拟环境的现实性。它可以模拟与隐藏或被遮挡物体的交互，增强用户在游戏和模拟中的体验。

8、环境监测：非视域成像在遥感应用中很有价值。它可以通过揭示隐藏的物体、植被或地质特征，提供对森林地区、水下环境和复杂地形的见解。

9、人机交互：非视域成像可以实现创新的人机交互方法，如无触摸手势控制和在三维空间中跟踪用户的运动。它在游戏、用户界面和交互式显示等方面都有潜在的应用前景。

10、艺术娱乐：在娱乐行业中，非视域成像可以用于特效、场景重建和戏剧制作、博物馆和艺术装置中的沉浸式体验。

11、科学研究：研究人员使用非视域成像技术进行科学调查，如研究光的传播，理解复杂的自然现象，以及进行光学和光子学实验。

图8：非视域成像的应用场景

非视域计算成像技术正快速发展，预计未来将实现更高帧率的实时视频流，通过深度学习与人工智能的融合将极大提升成像质量。随着技术进步，设备将更小型化、成本效益提高，应用领域将拓展至安全监控等多个跨学科领域，同时伦理和法律框架的建立也将保障技术的合理使用。

参考链接

[1]https://www.nature.com/articles/s43588-024-00722-4

[2]https://faculty.ustc.edu.cn/panjianwei/en/index/154905/list/index.htm

[3]https://www.nature.com/articles/s43588-024-00758-6

[4]https://shop.e-baixing.com/template/1731049858671/product-detail/65873

[5]https://mp.weixin.qq.com/s/JPBEB8IzwfFLmdJN0Hg-GA

[6]https://www.opticsjournal.net/Articles/OJ520d24d634cd29ff/FullText

[7]https://opg.optica.org/oe/fulltext.cfm?uri=oe-31-14-23662&id=532401

[8]https://opg.optica.org/oe/fulltext.cfm?uri=oe-32-21-37247&id=561027#figanchor3

[9]https://ieeexplore.ieee.org/abstract/document/10684139

[10]https://journals.aps.org/prl/abstract/10.1103/PhysRevLett.132.233802

[11]https://journals.aps.org/prapplied/abstract/10.1103/PhysRevApplied.19.034090

[12]https://www.nature.com/articles/s41467-024-45397-7

[13]https://www.darpa.mil/research/programs/revolutionary-enhancement-visibility

[14]https://opg.optica.org/oe/fulltext.cfm?uri=oe-31-25-42240&id=543981

[15]https://www.pnas.org/doi/10.1073/pnas.2024468118

[16]https://link.springer.com/book/10.1007/978-981-97-1455-1

[17]https://www.nature.com/articles/s41467-018-05985-w

[18]https://www.nature.com/articles/nphoton.2014.189

[19]https://www.nature.com/articles/ncomms1747

[20]https://www.nature.com/articles/s41586-018-0868-6

[21]https://pubs.aip.org/aip/app/article/9/12/126101/3323016

[22]https://www.nature.com/articles/s41467-023-38898-4

[23]https://opg.optica.org/ol/abstract.cfm?uri=ol-49-13-3806

[24]https://opg.optica.org/oe/fulltext.cfm?uri=oe-29-20-32349

来源：光子盒QUANTUMCHINA