5分钟生成漫威3D数字人 渐进式3D生成框架“DreamFace”来了！

5月4日 消息:最近，影眸科技与上海科技大学的研发团队提出了一种文本指导的渐进式3D生成框架——DreamFace，结合了视觉-语言模型、隐式扩散模型和基于物理的材质扩散技术，可以生成符合计算机图形制作标准的3D资产。

项目网站:https://sites.google.com/view/dreamface

预印版论文:https://arxiv.org/abs/2304.03117

Web Demo: https://hyperhuman.top

HuggingFace Space:https://huggingface.co/spaces/DEEMOSTECH/ChatAvatar

这项技术可以解决基于神经辐射场（NeRF）的3D生成方法与传统3D渲染软件的兼容性问题，为3D生成技术的实际应用提供了新的可能性。

DreamFace可以根据文字描述生成3D资产，具有广泛的应用前景。这项技术可以帮助人们更好地理解和应对合成媒体的问题，提高媒体的可信度和透明度。

DreamFace的创新之处在于其几何体生成、基于物理的材质扩散生成和动画能力生成三个模块。

• 几何体生成模块使用CLIP框架根据文本提示生成几何模型。

• 基于物理的材质扩散生成模块针对预测几何体和文本提示生成面部纹理。

• 动画能力生成模块使用BlendShapes或生成的Personalized BlendShapes的面部资产具备动画能力。

DreamFace框架在名人生成、描述生成角色等任务上取得了良好的效果，只需5分钟生成指定3D资产，并且支持使用提示和草图进行纹理编辑，实现全局编辑效果（如老化、化妆）和局部编辑效果(如纹身、胡须、胎记)，可用于影视、游戏等行业。