北航发布We-GS，实现无约束照片室外场景三维高斯高效表示

摘要：从无约束的照片集合中进行新的视图合成( NVS )在计算机图形学中具有挑战性。最近，3D高斯泼溅( 3DGS )显示出对静态场景进行真实感和实时NVS的前景。在3DGS的基础上，我们提出了一个有效的基于点的可微渲染框架，用于从照片集合中重建场景。我们的关键创新

【WE-GS: An In-the-wild Efficient 3D Gaussian Representation for Unconstrained Photo Collections】

文章链接：[2406.02407] WE-GS: An In-the-wild Efficient 3D Ga...

项目主页：https://yuzewang1998.github.io/we-gs.github.io/

从无约束的照片集合中进行新的视图合成( NVS )在计算机图形学中具有挑战性。最近，3D高斯泼溅( 3DGS )显示出对静态场景进行真实感和实时NVS的前景。在3DGS的基础上，我们提出了一个有效的基于点的可微渲染框架，用于从照片集合中重建场景。我们的关键创新点是一个基于残差的球谐系数传递模块，使3DGS适应变化的光照条件和光度后处理。这个轻量级模块可以预先计算，并确保从渲染图像到3D高斯属性的有效梯度传播。此外，我们观察到外观编码器和瞬态掩膜预测器，这两个最关键的部分来自于无约束照片的NVS。我们引入了一个“即插即用”轻量级的空间注意力模块来同时预测每张图像的瞬时遮蔽物和潜在外观表示。经过训练和预处理后，我们的方法与标准的3DGS格式和渲染流水线对齐，便于无缝集成到各种3DGS应用中。在不同数据集上的大量实验表明，我们的方法在新颖视图和外观合成的渲染质量上优于现有方法，具有较高的收敛性和渲染速度。

「小六的机器人AI圈」为机器人AI行业从业者提供从入门、学习、交流、求职、线下链接、合作、创业、行业内幕、咨询、答疑等一系列的服务。快人一步，步步领先！已沉淀6年，星球内部资料包括秘制视频课程、独家大咖采访及经验、项目对接、星主独家思考、同城线下交流会、求职招聘&笔面试题、学习打卡挑战、小组学习、最新前沿论文分享等等...

联系客服立减 50元加入！送上千页独家答疑电子书！加入3天内不满意无条件退款。付款后务必联系客服领取权益~