字节跳动 sre「字节跳动与旷视合作发布HiDiffusion，SD生成速度更快，图片质量更高」

4月25日 消息:近年来，字节跳动在技术创新方面表现活跃，其与旷视科技的合作成果——HiDiffusion技术，近日引起业界广泛关注。这一新技术只需一行代码，便能显著提升SD（扩散模型）生成图像的分辨率和生成速度，允许图像生成的分辨率高达4096×4096，同时将图像生成速度提高1.5至6倍。值得一提的是，HiDiffusion不仅支持所有SD模型，也兼容SD模型的下游模型，如Playground。

在详细介绍中，我们了解到，当直接使用已训练好的图像扩散模型尝试生成更高分辨率的图像时，常会遇到图像中对象不合理重复的问题，且图像生成时间会大幅增加。研究发现，这种对象重复问题主要由U-Net模型深层中的特征重复导致，而图像生成时间增长则主要是由于U-Net中一个自机制注意力的动画操作所致。

为了解决这些问题，字节跳动和旷视推出了新的高分辨率生成框架——HiDiffusion。该框架包含一个称为认知分辨率U-Net（RAU-Net）的模块，能够动态调整特征图尺寸，有效避免了图像中的对象重复现象。此外，HiDiffusion还采用了一种优化后的窗口注意力机制，称为修改版本升降窗多头自注意力(MSW-MSA)，显着减少了计算量。

通过将HiDiffusion应用于各种预训练的扩散模型，不仅可以将图像生成的分辨率提高至4096×4096，而且能将图像生成速度提升1.5至6倍。广泛的实验验证表明，这一方法不仅解决了对象重复和高计算负担的问题，而且在生成高分辨率图像的任务上取得了卓越的效果。

项目页:https://top.aibase.com/tool/hidiffusion

代码:https://github.com/megvii-research/HiDiffusion