上海科大等开源创新模型：文本生成精美3D服装

声明:本文来自于微信公众号AIGC开放社区，作者:AIGC开放社区，授权转载发布。

上海科技大学、宾夕法尼亚大学、Deemos科技和NeuDim科技的研究人员联合推出了一个创新模型DressCode。

用户通过DressCode只需要输入文本就能生成各种精美的3D服装模型，例如，一件法式蕾丝边的连衣裙;红色丝绸的睡衣等。

DressCode不仅能根据提示文本生成相应的服装样式，还能生成不同类型的材料，包括羊毛、蕾丝、丝绸等布料，并添加真实的物理光照帮助设计人员查看不同场景下的效果。

该模型可帮助VR、AR、影视、游戏开发、电商平台等领域的设计人员加速3D内容的开发效率。

开源地址:https://github.com/IHe-KaiI/DressCode

论文地址:https://arxiv.org/abs/2401.16465

SewingGPT

SewingGPT是DressCode的核心模块之一，基于Transformer架构主要用于提示文本语义理解和生成。

为了使DressCode能够生成服装图案，研究人员采用了一种新颖的量化过程，将裁剪图案转化为tokens序列，并使用仅包含解码器的Transformer模型进行tokens预测，以增强生成内容的准确性。

当SewingGPT接收到一段文本描述，例如，设计一款夏季棉质连衣裙，V领，腰部有褶皱设计，裙摆为A字形。会通过Transformer解析这段描述中的关键提示词、夏季、棉质、V领、褶皱等以及它们之间的语义关系，帮助模型准确地捕捉到服装每个模块之间的细微差别。

在理解提示文本语义之后，SewingGPT会生成一组结构化指令。这些指令不仅包括服装的外观特征，还包括具体的裁剪方式、缝合顺序、特定部位的处理技巧。

例如，上面所提到的连衣裙文本描述，SewingGPT可能生成指令指出V领的具体尺寸和弧度、褶皱的数量和分布模式、A字裙摆的展开角度等。这确保了设计的可实施性，即便在高度定制化的设计中也能保持精确。随后，这些指令被送到3D建模引擎并结合面料物理属性数据库进行建模。

SewingGPT还提供了一个循环反馈机制，允许用户对生成的初步3D模型进行效果评估，并提出修改意见，帮助模型进行自动迭代。

渲染与展示模块

在接收到结构化指令后，渲染模块会进一步分析文本提示词中的分析材质和纹理的关键词汇区别，丽日，光滑的丝绸、粗糙的牛仔布、柔软的羊毛等，并将这些文本描述映射到材质库中的对应材料中。

材料库中的每种材质均被详尽记录属性，反射率、透光度、弹性、摩擦系数等以及微观结构特征，这些数据可以使得渲染出来的3D服务模型更加逼真符合实际要求。

为了确保3D服装在运动状态下的自然垂坠与动态效果，DressCode集成了高级的布料动力学算法。这些算法基于物理模拟，能够精确计算布料与服装内部结构之间的相互作用，如褶皱形成、摆动、拉伸等，使服装在虚拟模特走动或旋转时的表现与真实服装几乎一样。

此外，为了更好地展示3D模型，DressCode提供了丰富的可定制虚拟模特，涵盖不同体型、肤色和风格，以适应多样化的设计需求。同时，内置的动作库支持从静态展示到复杂走秀动作的设置，使用户能够全方位评估服装的动态表现和穿着效果。

所有预览都是可视化操作，用户可以通过简单的操作旋转、缩放、平移3D模型，从多个角度审视服装细节，这对于那些非专业设计人员来说非常有帮助。