DragNUWA :一个可以实现精细控制的视频生成模型「根据视频生成3d模型」

8月18日 消息:DragNUWA 是一种基于扩散算法的视频生成模型，DragNUWA 模型旨在解决视频生成中的精细控制问题。该模型通过引入文本、图像和轨迹信息，并从语义、空间和时间角度提供精细控制。

论文地址:https://arxiv.org/pdf/2308.08089.pdf

模型中的轨迹建模包括轨迹采样器（TS）、多尺度融合(MF)和自适应训练(AT)策略。实验证明 DragNUWA 模型在视频生成的精细控制方面表现出色。

核心功能:

• DragNUWA 在语义、空间和时间维度上同时引入文本、图像和轨迹信息，提供了精细控制视频生成的能力。

• 它采用轨迹采样器、多尺度融合和自适应训练策略，实现了开放域轨迹控制和生成连贯的视频。该模型在实验中展现出优越的细粒度控制性能。