南洋理工大学 视频「南洋理工开源创新性文生视频模型FreeInit」

要点:

1、创新性文生视频模型FreeInit通过重新初始化噪声，改进时间的一致性。

2、研究人员发现视频扩散模型的推理初始化噪声中低频信息很难被完全移除。

3、FreeInit通过多次迭代重复采样优化过程，提升低频信息质量，改善生成视频质量。

1月5日 消息:南洋理工大学S实验室的研究人员开源了一种创新性文生视频模型，名为FreeInit。他们发现视频扩散模型在生成视频时存在时间一致性不足和不自然的动态效果。

开源地址:https://github.com/tianxingwu/freeinit

论文地址:https://arxiv.org/abs/2312.07537v1

为了解决这个问题，他们提出了一种通过重新初始化噪声的方法来改善时间一致性。他们发现视频扩散模型的推理初始化噪声中低频信息很难被完全移除，这可能是导致生成视频效果不佳的原因之一。为了验证FreeInit的有效性，研究人员进行了大量实验，结果显示FreeInit可以显著提高模型的时间一致性指标。

具体来说，FreeInit的采样优化过程包括多个步骤:

通过多次重复迭代，FreeInit可以进一步累积提升低频信息质量，逐步弥合训练和推理的初始化差距，从而改善生成视频的质量和时间一致性。研究人员表示，FreeInit在多个文到视频生成模型上进行的实验中取得了较好的效果。他们开源了FreeInit的代码和论文，供研究者们参考和使用。