赶超 Photoshop！Inst-Inpaint可通过指令从图像中移除对象

8月18日 消息:Inst-Inpaint 是一个创新的图像修复框架，可以根据给定的文本指令从图像中移除对象。传统的图像修复方法通常需要使用二值掩膜来定义要移除的像素点，但这种方法需要用户手动创建掩膜，耗时且容易出错。Inst-Inpaint 通过使用文本指令来估计需要移除的对象，并在修复过程中将其删除。

项目地址:https://github.com/abyildirim/inst-inpaint

研究人员创建了 GQA-Inpaint 数据集，用于训练和测试这种图像修复方法。数据集包含了147165张图像和41407个不同的指令。通过在这个数据集上进行训练，Inst-Inpaint 模型可以在一步中去除对象，而无需预测遮罩。

研究人员使用了多种指标来评估该方法的效果，并证明了它在定量和定性上的显著改进。Inst-Inpaint 的出现证明了人工智能在图像处理方面的转化能力，并为使用文本指令进行图像修复开辟了新的途径。

核心功能:

- 基于文本指令进行图像修复:Inst-Inpaint 可以根据给定的文本指令从图像中移除对象，无需手动创建掩膜。

- 高质量的修复结果:Inst-Inpaint 使用了先进的生成对抗网络和扩散模型，可以生成语义一致且逼真的修复结果。

- 实用的数据集和预训练模型:Inst-Inpaint 提供了 GQA-Inpaint 数据集和预训练模型，可以用于训练和评估模型的性能。