微软推出大型语言模型分割推理助手LISA

为了解决这个问题，微软研究院、香港大学和 SmartMore 的研究人员提出了大型语言模型驱动的分割推理助手——LISA（Large Language Instructed Segmentation Assistant）。

项目地址：https://github.com/dvlab-research/lisa

LISA是一种新颖的分割任务，旨在通过复杂而隐含的查询文本生成分割掩码。LISA 继承了多模态大型语言模型（LLM）的语言生成能力，同时具备生成分割掩码的能力。研究人员发现，LISA 在处理复杂推理、世界知识、解释性回答和多对话方面表现出色。

通过对模型进行微调，仅使用239个推理分割图像指令对，性能得到了提升。研究人员还发现，LISA 在复杂推理任务上的性能优于传统的推理分割方法。他们的未来工作将侧重于推理能力的重要性，以建立一个评估基准并促进社区开发新技术。

核心功能:

- 根据复杂查询文本生成分割掩码

- 进行复杂推理和世界知识的分割

- 提供解释性回答

- 支持多轮对话交互