腾讯推新技术Paint3D 给3D模型生成高清纹理

要点:

• 腾讯推出的技术 Paint3D 能够根据文本或图像输入，在不具有内嵌光照信息的3D模型上生成高分辨率、无光照的多样化纹理贴图。

• Paint3D 利用两阶段纹理生成框架，首先通过预训练2D图像生成模型获取输入的引导信息，然后在UV纹理空间上训练无光照扩散模型，生成无光照纹理，提升3D模型纹理生成效果。

• 通过实验，Paint3D 在生成多样化纹理贴图方面表现显著，几乎在所有样本上达到更好的效果，成为唯一一个能生成无内嵌光照纹理的算法。

1月2日 消息:近日，腾讯宣布推出一项名为 Paint3D 的技术，该技术在解决了生成没有内嵌光照信息的高质量纹理的挑战后，成为自动化纹理贴图生成领域的重大进展。

Paint3D 能够根据文本或图像输入，在无纹理的3D模型上生成高分辨率、无光照的多样化纹理贴图。这项技术的主要目标是使生成的纹理能够被重新照明或重新编辑，并直接应用于现有的渲染管线。

项目地址:https://paint3d.github.io/

Paint3D 的技术实现主要分为两个阶段:粗糙纹理生成和纹理细化。在粗糙阶段，通过预训练的2D图像生成模型获取输入的引导信息，然后将这些信息反投影到3D模型的表面上，生成初始纹理贴图。

在细化阶段，通过在UV空间中训练无光照扩散模型，解决粗糙纹理的光照阴影和纹理空洞问题，提升纹理贴图的视觉美感。这一框架的引入使得Paint3D在纹理生成方面表现出色，被评价为最好的纹理生成方法之一。

在实验中，Paint3D通过一系列的量化和定性实验证明了其在生成多样化纹理贴图方面的显著能力。通过评估FID得分和用户调研，实验结果显示Paint3D在纹理生成质量和符合输入条件方面都优于当前最佳的纹理生成算法。不仅如此，Paint3D还展示了多种输入条件引导的纹理贴图生成，包括文字描述和示例图像引导下的纹理生成。

Paint3D 的出现标志着自动化纹理贴图生成领域的重大进展。通过精确控制纹理贴图中的内容和风格，Paint3D 可以生成高质量、多样化的纹理贴图，从而显著推进3D对象纹理化的最先进技术。更为重要的是，Paint3D 生成的纹理贴图是没有内嵌光照阴影效果的，使得生成的纹理能够被重新照明或重新编辑，直接应用于现有的渲染管线，在艺术创作、数字媒体制作和游戏内容创作等领域发挥重要作用。