摘要：本文分享一篇南开大学和南京大学在ICCV 2025上发表的最新研究成果《Gaussian Splatting with Discretized SDF for Relightable Assets》。该研究提出了一个高效鲁棒的可重光照高斯模型——Discret

本文分享一篇南开大学和南京大学在ICCV 2025上发表的最新研究成果《Gaussian Splatting with Discretized SDF for Relightable Assets》。该研究提出了一个高效鲁棒的可重光照高斯模型——DiscretizedSDF，以自监督模式将连续的有符号距离场（SDF）先验注入到离散高斯表示中，实现了高效、准确的属性解耦。

可重光照三维资产构建是逆向渲染中的核心任务，旨在从一组多视角图像中，解耦出场景的几何、材质与光照等物理属性，为后续的重光照和交互编辑打下基础。

然而，几何、材质和光照之间存在高度耦合性，且拍摄时的光照条件往往未知，使得该问题高度复杂且极具挑战性（病态问题）。因此，这类方法通常需要引入先验约束才能获得合理的解耦结果。

对于几何上的约束，有符号距离场是大家常用的一种解决方案。对于图像的渲染，目前有基于神经辐射场和高斯泼溅的两种选择。下面对论文用到的有符号距离场和高斯泼溅的基础知识进行介绍，引出我们的核心问题。

有符号距离场（Signed distance field，SDF）是较为常用的一种隐式几何表示，将表面定义为一个从3维坐标到1维距离的连续映射，这个距离代表了从某一位置到物体表面的最近距离，物体外的位置为正距离值，内部为负距离值，物体表面则在零等值面上。

对于这个场求梯度能很自然的找到一个垂直于等值面切面的向量，如果在零等值面上求梯度这个向量就是表面法向量方向。对于一个有符号距离场，有一个著名的性质就是梯度的模长恒为1，也就是程函条件（Eikonal condition），在优化一个隐式表示时，我们经常使用约束梯度模长为1（程函损失）来保证优化出来的隐式场是一个有符号距离场。

这个性质我们可以形象的理解：我们向表面前进最快就是走直线，这样在空间内移动的总距离等于向表面前进的距离，比值为1，对应的前进方向为梯度反方向。

对于SDF的优化，NeuS给出了一套基于体渲染的优化方式，将SDF数值和体渲染权重联系起来，成为了很长一段时间内从多视角图片中学习SDF的主流。由于体渲染需要对每个像素都要在射线上进行多次采样，来计算像素最终颜色，这样的方式开销较大，所以，如何提升优化SDF的速度是一个一直以来十分热门的研究方向（如: NeuS2, PermutoSDF...）。

近年来，基于高斯泼溅（Gaussian Splatting，GS）则是给出了一种基于光栅化的渲染框架，给我们提供了一个从多视角图像优化几何、外观的新工具，也大幅提升了渲染效率。

这种基于显式高斯基元的表示方式在新视角合成领域展现出极高的质量和细节表现力。然而，高斯基元的离散结构难以保证几何连续性，导致恢复出的几何精度不足。

为解决此问题，已有工作引入额外的SDF连续表示对几何进行正则化。例如，一些方法在GS框架中同步使用体渲染的方式训练一个SDF网络，利用程函损失等约束隐式几何，对GS和SDF进行相互监督，以提升整体的建模能力。

由上述背景我们可以看到，虽然SDF提供了良好的几何性质来约束表面，GS提供了快速的优化框架，但是现有工作一直采用联合优化的方式弥补GS的问题，始终保留了SDF体渲染的部分。这样维护同时维护2个表示极大地提升了模型训练的难度，降低了GS的训练效率，同时也让模型耗费更多的显存。

这也引出了我们的核心问题：如何直接在GS光栅化的框架里直接优化SDF。其核心困难在于：高斯基元是离散的，而SDF是连续的。

对此，我们的解决思路是这样的：就像连续模拟信号能进行离散的数字化，我们可以将离散的高斯基元作为SDF中的若干采样点，每个高斯都编码一个采样函数值。

对于这样一个框架，我们要满足以下需求：

编码的离散函数值要能在GS的光栅化渲染中可以优化。类似于NeuS，我们需要定义一个SDF到GS渲染权重的映射。

约束优化出来的函数值编码的是一个SDF。但因为高斯是离散的，我们没办法对任意点求梯度来做程函损失，所以要为高斯专门设计一个约束保证优化出的函数满足SDF的性质。

到此，我们对SDF和GS的背景已经有所了解，也知道了将二者结合的难点。现在我们可以带着如何在高斯中优化、约束SDF这个问题，进入我们的解决方案部分。

我们提出的DiscretizedSDF是一个使用离散SDF采样点约束几何的GS逆渲染框架，通过在每个高斯基元内编码一个离散化的SDF值，将连续的SDF先验注入到高斯表示中，而无需引入额外网络。其核心创新包括：

我们通过直接将SDF采样数值编码在离散高斯基元的方式，避免了引入额外网络储存连续SDF。并定义了一个SDF到不透明度（SDF-to-opacity）的转换函数，使得其能够通过高斯泼溅优化，无需引入体渲染。进一步，为了加速高斯收敛到不透明表面，我们进一步引入中值损失：在优化过程中，以所有高斯基元到表面的距离中值为指导，动态收窄转换函数，使高斯基元迅速聚焦到表面附近。

由于离散化的SDF表示不具备连续可微性（如下图所示），传统梯度约束（如程函损失）无法直接应用。为此，我们提出将每个高斯基元投影到其编码的SDF零等值面，并与高斯得到的表面对齐，从而约束几何一致性。这一投影一致性损失在形式上近似于程函条件的推广，鼓励恢复的曲面保持平滑连贯，同时保留高斯表示的细节灵活性。

我们发现训练初期的模型易陷入错误几何形状，导致局部最优。受到以往SDF优化工作启发，我们为前景物体设计了球形初始化方案——将高斯基元均匀分布在单位球面上初始化。这一策略防止模型在训练早期陷入局部最优，生成断裂的表面，显著减少了训练过程中的过拟合现象，提高了模型的鲁棒性。

DiscretizedSDF在多个主流仿真和真实数据集上进行了广泛的实验，并与当前最先进的方法进行比较。

如下表所示，在Glossy synthetic和TensoIR synthetic数据集上，DiscretizedSDF均提供了更高质量的重光照结果。另外，由于无需维护额外的网络约束几何，DiscretizedSDF在显存和训练时间上均开销较小。

在几何质量上，DiscretizedSDF能提供更高精度的表面法向量。

下图展示了在新光照下的重光照渲染结果和法向量可视化，DiscretizedSDF对漫反射材质和具有镜面反射的物体均能提供合理的解耦结果，进而提供高真实感的重光照渲染结果。

下图进一步对比了DiscretizedSDF和以往基于高斯的重光照方法，由于缺少合适的几何约束，以往方法提供的解耦结果无法保证整体表面的连续性，并且会丢失局部细节。DiscretizedSDF得益于几何上的良好约束，可以提供整体平滑完整又具有局部细节的重光照结果。

消融实验证明了我们提出各个组件的有效性。所有组件均能带来可观的性能提升，其中我们提出的基于投影的一致性约束提升最大，这表明其对几何的良好约束。

论文提供了高效，可实时渲染的可重光照模型，进一步拓展了高斯泼溅在逆向渲染领域的应用，为虚拟现实、具身智能的仿真数据合成和各类下游应用提供新方案。总而言之，本文主要贡献如下：

高效训练：无需维护额外表示约束几何，能够以较低内存和在较短训练时间内得到可重光照模型。

几何约束：提出的为高斯泼溅设计的投影一致性损失，能够在不引入额外表征的前提下，实现高效鲁棒的几何约束。

真实感渲染：具有良好的几何约束并结合延迟渲染技术，能对多种材质物体进行高真实感重光照。

开源代码：所有训练、测试代码以及模型文件均已开源，助力社区科研应用。

未来，进一步从高斯模型中提取高质量mesh和UV纹理贴图，实现将模型无缝与传统渲染引擎对接值得进一步关注；另外，如何在高斯表示中高效计算全局光照也值得关注。

来源：小熊说科技