谷歌发布革命性模型训练方法HyperDreamBooth 20秒完成模型训练

6月5日 消息:谷歌发布了一项名为HyperDreamBooth的革命性模型训练方法，该方法在生成AI领域取得了显著的进步，尤其是在个性化模型训练方面。然而，尽管这一技术具有突破性，谷歌并没有计划将其开源。

主要特点:

• 超快速训练:能在20秒内完成模型训练，这比DreamBooth快了25倍，比Textual Inversion快了125倍。

• 个性化权重的超网络:从单张人像生成一小组个性化权重，这使得模型能够捕捉到个体的特征。

• 高质量和风格多样性:尽管只需一张参考图像，生成的模型在质量和风格多样性上与DreamBooth相当。

• 极小的模型尺寸:生成的模型比普通DreamBooth模型小10000倍，这极大地减少了存储需求。

HyperDreamBooth通过使用HyperNetwork技术，有效地从单个人物图像中生成个性化权重，这些权重随后被组合到扩散模型中。结合快速微调，该方法能够在极短的时间内生成具有高度主题细节的面部图像，同时保留了对多样化风格和语义修改的敏感性。

谷歌提出的解决方案还包括:

• 轻量级DreamBooth（LiDB）:一个个性化文本到图像模型，其定制部分仅有约100KB大小，通过在低秩适应权重空间内生成随机正交不完整基础来训练DreamBooth模型。

• 结合轻量级DreamBooth配置:定制部分与给定主题生成文本到图像扩散模型权重的架构相结合，提供了强大的方向初始化，使得模型能够在几次迭代内实现强大的主题保真度。

• 秩松弛微调技术:在优化过程中放松LoRA DreamBooth模型的秩，以实现更高的主题保真度。这种方法允许使用HyperNetwork进行初始近似初始化个性化模型，并使用秩松弛微调技术近似高级主题细节。

HyperDreamBooth的发布代表了AI个性化模型训练的一个重大进步，尽管其不开源的决定可能会限制其他研究者和开发者直接利用这项技术的能力。谷歌的这一贡献为AI领域提供了新的可能性，同时也为未来的研究和应用设定了新的标准。

项目地址：https://top.aibase.com/tool/hyperdreambooth