摘要:Hi3DGen模型现已正式上线模力方舟在线体验,为广大开发者、设计师、3D 爱好者带来了前沿的单图高保真 3D 生成能力,前往模力方舟在线体验:https://ai.gitee.com/serverless-api?model=Hi3DGen
Hi3DGen模型现已正式上线模力方舟在线体验,为广大开发者、设计师、3D 爱好者带来了前沿的单图高保真 3D 生成能力,前往模力方舟在线体验:https://ai.gitee.com/serverless-api?model=Hi3DGen
Hi3DGen由香港中文大学(深圳)、字节跳动、清华大学团队联合研发,专注解决当前 2D 到 3D 转换中面临的关键痛点:细节还原不足、几何信息模糊、训练数据受限等问题。
传统从单张图片生成 3D 模型的方法,往往直接将 RGB 图像映射到 3D 几何空间,但由于 RGB 本身存在光照、纹理、角度等多重模糊因素,导致生成出的 3D 模型缺乏锐利细节、形状容易失真。
Hi3DGen首次提出**「法线桥接」**框架,将 RGB 图像先转化为法线图,再通过法线图驱动 3D 生成,相当于引入了一个 2.5D 中间层,让模型在重建时获得了更清晰的几何线索,大幅提升生成质量。
具体来说,Hi3DGen包含三大技术核心:
1️⃣ 双流法线估计器(NiRNE):创新地在回归网络中引入噪声注入机制,用一条干净流捕捉低频信息(保证整体结构),另一条带噪声流捕捉高频信息(保证细节锐度),两者结合获得既稳定又锐利的法线图。
2️⃣ 法线正则化潜变量扩散(NoRLD):基于潜变量扩散框架,通过在线法线监督,直接在扩散过程中注入几何一致性约束,使生成出的 3D 模型在细节和整体形状上与输入图像高度匹配。
3️⃣ DetailVerse 数据集:自建 70 万个合成 3D 资产,结合精心设计的 prompt 和严格筛选机制,确保模型训练时能接触到大量复杂几何和丰富表面细节,打破现有数据集质量不足的限制。
Hi3DGen 的效果在多项测试中全面领先,包括正常角度误差、锐利区域误差等指标都显著优于当前主流方法(如 CraftsMan、Hunyuan3D、Trellis、Clay、Dora 等)。
从模力方舟的在线体验中可以看到,除了生成速度很快外,生成的模型精度十分令人满意,并且支持直接下载GLB文件:
来源:码云Gitee