上海人工智能实验室开发的一款文字转换3D模型,能够在5分钟内生成高质量的 3D 物体。

生成过程分两步:

  1. 模型从已有的 3D 数据中学习,通过扩散模型,快速生成粗略的3D模型。这一步主要是为了快速制作原型。
  2. 利用 2D 图像的扩散模型,进一步改善第一步生成的 3D 模型纹理,使其看起来更真实。这一步包括对模型的细节进行优化。

为了训练这个模型,技术团队清理并标注了一个 大规模的开源3D数据集,并结合了视觉语言模型和大型语言模型的技术。模型和代码可公开获取。

论文地址 项目地址