如果你只有一个房间的两三张照片，能不能通过它们重建出整个房间的3D模型？传统方法在这种情况下往往会出现严重的失真和模糊。对此，清华大学和香港科技大学的研究人员提出了一种突破性的解决方案：ReconX。
ReconX 的核心思路非常巧妙，既然我们缺少足够多的视角来重建3D场景，那何不利用 AI 通过 "想象" 来补充缺失的视角呢？具体来说，ReconX 采用了以下的步骤：
- 首先，从少量输入照片中提取 3D 结构信息，构建一个初步的点云模型。
- 然后，将这个3D结构信息输入到一个视频扩散模型中。这个模型就像一位 "创意画家"，能基于已有视角合理地生成更多视角下的画面。
- 最后，利用生成的多视角画面，通过一个可靠的3D重建算法，构建出完整且细节丰富的3D场景。
通过 ReconX 重建的 3D 场景，质量更好，更加真实自然。它的泛化能力也更强，即使遇到训练数据中没见过的场景也能应对自如。对输入视角的要求也更低，即使相机位置相距较远也能正常工作。
这项技术为虚拟现实、自动驾驶等领域提供了新的解决方案。未来，或许我们只需用手机拍几张照片，就能轻松重建出完整的3D场景。
论文地址
评论(0)