图像修复模型「InstructIR:可按照人类指令进行高质量图像修复」

划重点:

⭐图像恢复模型使用可以针对特定损伤的信息作为指导恢复模型的提示

⭐第一种使用人工编写的指令来指导图像恢复模型的方法

⭐InstructIR在多项目恢复任务取得了最先进的成果，包括图像去噪、去雨、去模糊、去雾和（低光）图像增强。

2月1日 消息:图像恢复是一个基本问题，涉及从模糊的照片中恢复高质量的干净图像。多合一图像恢复模型可以使用特定于退化的信息作为指导恢复模型的提示，有效地从各种类型和级别的退化中恢复图像。

研究人员提出了第一种使用人工编写的指令来指导图像恢复模型的方法InstructIR。在自然语言提示的情况下，InstructIR模型可以从退化的对应图像中恢复高质量图像。

InstructIR 将图像和人工编写的有关如何改进该图像的指令作为输入。（单个）神经模型执行多合一图像恢复。InstructIR 在多项修复任务上取得了最先进的结果，包括图像降噪、去雨、去模糊、去雾和(低光)图像增强。

InstructIR 比以前的一体化恢复方法提高了 +1dB。此外，数据集和结果代表了文本引导图像恢复和增强新研究的新基准。

值得一提的是，该模型主要使用合成数据进行训练，因此它可能不适用于现实世界的复杂图像。然而，它在现实世界的雾蒙蒙和低光图像上效果出奇地好。你还可以尝试常规图像增强提示（例如，“修饰此图像”、“增强颜色”），看看它如何改善颜色。

产品入口：https://top.aibase.com/tool/instructir

论文网址：https://arxiv.org/pdf/2401.16468.pdf

项目代码：https://github.com/mv-lab/InstructIR