细粒度图像生成「细粒度文字转动画技术MoMask 文本驱动的3D人体运动生成模型」

要点:

• MoMask是一个文本驱动的3D人体动作生成模型，采用层级量化方案表示动作，包括基础层的运动标记和逐层存储的残差标记。

• 模型包括Masked Transformer和Residual Transformer，用于在训练阶段通过文本输入预测基础层的随机掩码动作标记，并在生成阶段填充缺失标记，并逐渐预测更高层次的标记。

• MoMask在文本到运动生成任务中表现优越，例如在HumanML3D数据集上，其FID为0.045，明显优于T2M-GPT的0.141。此外，MoMask还能无缝应用于相关任务，如文本引导的时间修复。

12月6日 消息:MoMask是一个创新的3D人体运动生成模型，其核心思想是通过层级量化方案表示人体动作，包括基础层和逐层的残差标记。在模型结构上，引入了Masked Transformer和Residual Transformer，分别用于预测基础层的掩码动作标记和逐渐预测更高层次的标记。这一框架使得MoMask在文本到运动生成任务中表现卓越。

MoMask的应用不仅局限于文本到运动生成，还展示了在文本引导的时间修复任务中的出色表现。通过展示中，模型成功地完成了对动作片段中特定区域的修复，根据文本描述 inpaint 了中间、后缀和前缀区域，呈现出令人满意的合成效果。

项目地址:https://github.com/EricGuo5513/momask-codes

在实验结果分析中，MoMask通过对残差量化层的变化进行研究，展示了其对运动标记的高保真重建能力。生成方面的比较进一步证明了残差标记的重要性，MoMask在不同组合的标记下能够更准确地执行微妙的动作，相较于其他基线模型表现更为出色。

论文通过对比MoMask与其他三种强基线方法，包括扩散模型和自回归模型，证明了MoMask在捕捉语言概念和生成更真实动作方面的优越性。这使得MoMask成为文本驱动的3D人体运动生成领域的先进模型。

MoMask通过引入层级量化和Transformer结构，在文本驱动的3D人体运动生成任务中取得了显著的性能提升，同时在相关任务上也展现了出色的通用性。其在重建、生成和比较方面的实验证明了其在3D人体动作建模领域的卓越性能。