FreeControl：无需训练即可控制任何文本到图像扩散模型的空间控制方法

划重点:

⭐️ FreeControl 提供一种无需训练即可控制任何文本到图像扩散模型的空间控制方法

⭐️ 支持多个条件、架构和检查点同时进行控制生成

⭐️ 通过结构和外观引导，实现对生成图像的控制

2月21日 消息:在最新的研究中，研究人员提出了一种名为 FreeControl 的方法，可以实现对文本到图像生成模型的空间控制，而无需进行训练。这项研究支持同时控制多个条件、架构和检查点，为生成过程提供了更大的灵活性。通过结构引导和外观引导，FreeControl 能够促进生成图像与指导图像的结构对齐，以及在具有和不具有控制的情况下生成的图像之间的外观对齐。

FreeControl 方法包括分析阶段和合成阶段。在分析阶段，FreeControl 通过查询文本到图像模型生成尽少一张种子图像，然后从生成的图像中构建线性特征子空间。在合成阶段，FreeControl 利用子空间中的引导来促进与指导图像的结构对齐，以及在有控制和无控制情况下生成的图像之间的外观对齐。

研究人员展示了使用 T2I 扩散模型进行可控生成的定性结果。他们展示了支持任何条件生成的能力，并通过提供代码和相关工作的引用，展示了 FreeControl 方法的有效性和广泛适用性。

FreeControl 有助于对许多不同的架构和检查点进行方便的免训练控制，允许大多数现有免训练方法失败的具有挑战性的输入条件，并通过基于训练的方法实现有竞争力的合成质量。

项目网址：https://top.aibase.com/tool/freecontrol

论文网址：https://arxiv.org/pdf/2312.07536.pdf