智源研究院推出text-to-3D生成模型 GeoDream

1月16日 消息:近日，智源研究院联合清华和北邮团队推出text-to-3D生成模型 GeoDream，能够将输入的文字描述转化为高质量和多视角一致性的3D 资产。与传统的方法不同，GeoDream 通过解耦的方式利用2D 和3D 先验，解决了3D 结构不一致性的问题，并支持导出高保真的 texture meshes 和高分辨率的渲染图片。该模型还提供了 Uni3D metric，用于衡量3D 模型的语义一致性。GeoDream 的论文和代码已经开源，并已集成到 threestudio 等开源库中。该模型的核心创新点在于使用 Multi-View Stereo 技术生成 Cost Volume 作为3D 先验，并通过 Variational Score Distillation 方法将2D 和3D 先验进行融合。此外，GeoDream 还提供了新的量化指标和评价方法，以更好地度量和比较生成的3D 模型的质量。最后，GeoDream 展示了对复杂输入的生成结果，支持导出 meshes 和高分辨率 UV maps，方便后续的3D 创作和应用。代码:https://github.com/baaivision/GeoDream主页:https://mabaorui.github.io/GeoDream_page/论文:https://arxiv.org/abs/2311.17971/