MIT研究员推新AI图片生成框架DMD：AI 单步生成高质量图像 速度快30倍_ai图像生成器

划重点:

⭐️ MIT 研究人员开发了一种单步 AI 图像生成器，比传统扩散模型快30倍，同时保持图像质量。

⭐️ 新方法结合了教师 - 学生模型，通过分配匹配蒸馏实现单步图像生成。

⭐️ DMD 框架加速了图像生成，为设计工具、药物发现和3D 建模等领域带来潜在益处。

3月22日 消息:在当今人工智能时代，计算机可以通过扩散模型生成自己的 “艺术”，逐步向嘈杂的初始状态添加结构，直到清晰的图像或视频出现。

扩散模型突然变得异常受欢迎:输入几个词，即可体验现实与幻想交汇的梦幻景象。在幕后，这涉及一个复杂、耗时的过程，需要算法多次迭代才能完美图像。

麻省理工学院计算机科学与人工智能实验室（CSAIL）的研究人员引入了一个新框架，将传统扩散模型的多步过程简化为单步，解决了先前的限制。这是通过一种教师 - 学生模型实现的:教导一个新的计算机模型模仿生成图像的更复杂原始模型的行为。

这种方法称为分配匹配蒸馏（DMD），保留了生成图像的质量，同时实现了更快的生成速度。

DMD 巧妙地包含两个组成部分。首先，它使用回归损失，锚定映射以确保对图像空间的粗略组织，使训练更稳定。接下来，它使用分配匹配损失，确保使用学生模型生成给定图像的概率与其在真实世界中出现的频率相对应。通过利用两个扩散模型作为指导，帮助系统理解真实图像与生成图像之间的差异，并使训练快速的单步生成器成为可能。

该系统通过训练一个新网络来最小化其生成的图像与传统扩散模型使用的训练数据集中的图像之间的分布差异来实现更快的生成。该团队使用预训练网络来简化新学生模型的过程。通过复制和微调原始模型的参数，团队实现了新模型的快速训练收敛，该模型能够使用相同的架构基础生成高质量图像。

在与通常方法的对比测试中，DMD 表现一致。在基于 ImageNet 特定类别生成图像的流行基准测试中，DMD 是第一个单步扩散技术，几乎与原始、更复杂模型的图像媲美，具有非常接近的 Fréchet inception distance（FID）分数，这是令人印象深刻的，因为 FID 是评判生成图像质量和多样性的指标。

此外，DMD 在工业规模的文本到图像生成中表现出色，并实现了最先进的单步生成性能。在处理更棘手的文本到图像应用时，仍然存在一些质量差距，这表明未来还有改进的空间。

DMD 生成的图像性能与蒸馏过程中使用的教师模型的能力密切相关。当前版本使用 Stable Diffusion v1.5作为教师模型，学生继承了一些限制，如渲染文本和小脸部的细节描绘，这表明更先进的教师模型可能进一步提升 DMD 生成的图像。

论文网址：https://arxiv.org/abs/2311.18828