飞马机器人推荐 | 测绘通报宋培焱：面向密度明显差异点云的室内场景三维Mesh模型POCO重建方法

摘要：引文格式：宋培焱, 叶勤, 曾亮,等. 面向密度明显差异点云的室内场景三维Mesh模型POCO重建方法[J]. 测绘通报, 2025(2): 7-12,47.doi: 10.13474/j.cnki.11-2246.2025.0202.

本文内容来源于《测绘通报》2025年第2期，审图号：GS京（2025）0099号

面向密度明显差异点云的室内场景三维Mesh模型POCO重建方法

宋培焱1,2, 叶勤1,3, 曾亮3, 罗俊奇3, 张硕3, 尹长江3

1. 自然资源部城市国土资源监测与仿真重点实验室, 广东深圳 518034;

2. 深圳市规划和自然资源调查测绘中心, 广东深圳 518000;

3. 同济大学测绘与地理信息学院, 上海 200092

基金项目：自然资源部城市国土资源监测与仿真重点实验室开放基金(KF-2023-08-014);国家自然科学基金(41771480)

关键词：POCO, 三维重建, 室内场景, 密度差异点云, 深度学习

引文格式：宋培焱, 叶勤, 曾亮,等. 面向密度明显差异点云的室内场景三维Mesh模型POCO重建方法[J]. 测绘通报, 2025(2): 7-12,47.doi: 10.13474/j.cnki.11-2246.2025.0202.

摘要

摘要：针对现有室内场景三维重建方法在处理大规模且密度显著差异的点云时重建效果不佳的问题,本文提出了一种基于POCO深度神经网络、改进训练、重建策略的室内场景三维Mesh模型重建方法。首先,改进训练策略,充分利用现有少量仿真场景与极少量真实场景数据对原模型进行微调训练;然后,改进重建策略,引入最远点采样和包围盒尺度一致的策略;最后,对重建的三维Mesh模型进行尺度复原。试验结果表明,本文方法在重建精度和模型完整度上均优于改进前的POCO原模型,可为实景三维中国建设提供有力支持。

正文

[1-2]。其中，三维Mesh模型快速构建是室内场景重建的关键。针对城市现代化进程中涌现的大规模建筑室内场景三维重建，因其体量大，且涉及不同来源、密度间存在显著差异的点云融合，融合后点云也因场景特征不均而导致存在明显密度差异，此时进行室内场景三维重建难度极大。当前，基于点云的三维重建实现方式为基于软件的手工建模和基于算法的自动建模。手工建模方式对熟悉场景建模的精度与可靠性高，但其代价高昂、效率极低，难以满足实际需求[3]。因此，自动化三维重建算法成为当前研究的主流[4-5]，主要有两类：基于手工设计(handcrafted)和基于深度学习(DL)。handcrafted算法主要有：贪婪投影三角化算法[6]、移动立方体MC(marching cube)及泊松曲面重建算法[7]等。该类算法普遍存在以下问题：过程烦琐；场景泛化性差；对密度差异明显点云不适用；忽略点云与潜在曲面空间的位置关系。深度学习的迅猛发展使点云三维重建的DL算法成为热门，出现了ONet(occupancy network)[8]、DeepSDF[9]等经典网络。其基本思想是基于训练数据学习隐式函数的分类器，对点云的八叉树顶点进行分类，然后采用MC方法提取表面。点云重建的DL算法部分解决了handcrafted算法存在的上述问题，但也存在部分挑战：①研究集中于单个物体重建，训练数据也多为物体点云，网络模型移植应用于场景重建时效果较差；②通常需要对点云降采样，这对结构复杂、细节丰富度差异明显的室内场景三维重建影响明显；③获取足够的场景，尤其是室内大场景的标注信息作为训练数据非常困难。为克服上述挑战，文献[10]提出了基于点云数据直接重建的POCO网络，其利用小物体训练获得的重建网络能较好地迁移到室内场景。然而，对室内大场景，尤其是密度差异明显的点云，POCO原模型的建模效果仍不佳。综上所述，本文对POCO原模型进行训练与重建策略的改进，即在ShapeNet[11]预训练模型上，采用少量场景点云进行逐步微调训练，减少对大量场景点云标注训练数据的依赖；引入最远点采样和包围盒尺度一致性改进重建策略，克服点云密度差异大对室内场景Mesh模型三维重建的影响。

1 基于POCO网络的点云三维重建原理

POCO网络[10]主要包括编码、解码及占用概率预测3部分(如图 1所示)。

图 1 POCO网络结构

图选项

首先，使用点卷积计算点云特征，对给定表面上采样的三维点，基于编码器对查询点q的k个相邻点p生成潜在向量Zp和相对位置查询的增广矩阵p-q；然后，用3层多层感知机逐点重新编码为相对潜在向量Zp，q与推断权重组合为潜在向量Zq；最后，采用线性层解码为占用概率Oq，并由Oq预测采样点与重建模型表面的相对位置，取表面位置概率最大的采样点重建模型。为快速处理稠密点云，POCO增加了TTA(test-time augmentation)模块[12]；针对训练与测试数据密度差异大，POCO增加了尺度自适应模块。具体实现：输入三维点云P，构造连续概率隐式函数ω：R33处的占用概率Oq。通过backbone确定ω的参数，将占用概率为0.5的等值面提取为表面，最后用MC方法重建Mesh模型。该方法采用二分类交叉熵损失函数确定ω，对整个包围盒中采样的点云标记为0(在形状外)或1(在形状内)，定义公式为

(1)

式中，y为二分类类别标签(分类正确为1，错误为0)；θ为网络模型预测的概率值。

POCO与其他点云重建网络不同，附加隐式特征函数并构造对应向量，借鉴ONet的占位思想，使用FKAConv[13]作为backbone确定采样点所在邻域查询点的占位概率；基于占用概率对邻域点进行加权插值，并依据采样点占用概率判断拟合最佳模型表面位置。因此，POCO对低密度点云有更强的稳健性，当点云密度高时确保模型细节更清晰，在效率和内存占用方面具备优势，并具有场景迁移能力。

然而，POCO原模型对较大的场景，特别是点云密度差异大的室内场景重建表现不佳。其原因在于：①POCO原模型训练采用ShapeNet物体数据集和仿真小场景数据集，其尺度与待重建真实场景点云数据差异显著；②POCO原模型重建时采用的自适应尺度策略是将测试数据的平均点云最邻近距离调整为与训练数据一致，当点云密度不均匀(尤其是场景中某区域密度过大)时，会导致场景稀疏点云区域重建模型存在孔洞，造成重建完整性与细节较差。

2 基于POCO网络进行室内重建的改进方法

为克服POCO原模型在密度差异明显的室内场景三维重建中存在的问题，本文提出以下改进策略。

(1) 训练中，采用逐步微调策略，在ShapeNet预训练模型上使用场景数据进行微调，克服POCO原模型迁移能力有限及现有室内场景标注训练数据严重不足的问题，并针对微调训练确定合适的batch size参数以提高训练效率。

(2) 重建中，将POCO原模型的“调节训练数据集与测试数据集平均点云最邻近距离一致”策略改进为“训练数据集与测试数据集平均点云包围盒大小一致”策略，并增加均匀采样模块，以降低场景点云密度差异大对重建效果的影响。

2.1 逐步微调训练策略

POCO原模型从单个物体与从场景数据中学习隐式函数表达的参数存在一定差异，由于封闭室内场景存在极薄的平面部件(如墙面、窗帘等)，在判定空间点位于水密模型内外时存在困难。鉴于其具有的迁移学习能力，本文提出训练数据量逐步扩增、数据建模场景逐步扩大的逐步微调训练策略。

(1) 利用小物体数据(ShapeNet)对POCO的backbone进行训练，获得预训练模型。

(2) 逐步扩展到利用少量的小场景仿真数据，加上少量实采的较为复杂的室内大场景数据对预训练模型进行微调。

(3) 实现三维重建网络参数与超参数确定。

改进的逐步微调训练策略寻求对室内场景点云重建的最优解，在不损失场景重建精度的同时提高模型训练效率，避免对大量室内场景训练数据的依赖。在训练过程中，针对场景建模与小物体建模尺度上的巨大差异，对训练的batch size参数进行优化，以实现更好的室内场景拟合重建效果。

2.2 点云包围盒范围一致的重建策略

扫描所得的大尺度室内场景点云通常存在总体平均密度高但局部点云密度不均匀的问题，特别在涉及多源融合点云时，密度差异更大。此时，POCO原模型的重建策略会使密度较低的部分在重建过程中被进一步稀疏，导致重建表面的完整性不足。为此，本文提出一种新的自适应尺度调节策略，以克服点云密度差异大对重建的影响。