多模态国内研究「谷歌团队推出大型多模态生成模型 可处理多模态生物医学数据」

8月5日 消息:尽管人工智能（AI）系统取得了重大进展，但大多数现有的最先进(SOTA)系统都是单模态单任务系统，这对开发医疗人工智能系统提出了挑战，因为医疗任务本质上是多模态且模式丰富 涵盖文本、成像、基因组学等。

为了弥补这一差距，在一篇新论文《Towards Generalist Biomedical AI》中，来自 Google Research 和 Google DeepMind 的研究团队提出了 Med-PaLM Multimodal （Med-PaLM M），这是一种大型多模态生成模型，可以处理多模态生物医学数据，包括临床数据 语言、成像和基因组学使用一组模型权重，无需任何特定于任务的修改。

该团队将他们的主要贡献总结如下:

MultiMedBench 的管理我们推出了 MultiMedBench，这是一种新的多模式生物医学基准，涵盖医学成像、临床文本和基因组学等多种模式，具有14项不同的任务，用于训练和评估通用生物医学 AI 系统。

Med-PaLM M，通用生物医学人工智能系统的首次演示我们推出 Med-PaLM M，这是一个单一多任务、多模式生物医学人工智能系统，可以执行医学图像分类、医学问答、视觉问答、放射学报告生成和总结、 基因组变异调用，以及更多具有相同模型权重的集合。

Med-PaLM M 中新颖的新兴能力的证据 除了任务绩效的定量评估之外，我们还观察到零样本医学推理、新医学概念和任务的泛化以及跨任务的积极迁移的证据。

Med-PaLM M 输出的人工评估 除了自动化指标之外，我们还对 Med-PaLM M 跨不同模型尺度生成的胸部 X 射线报告进行放射科医生评估。

该团队首先提出了 MultiMedBench，解决缺乏全面的多模态医疗基准的问题，这是一种多模态生物医学基准，涵盖广泛的多模态数据源，用于衡量通用生物医学人工智能处理从视觉问题到各种医疗任务的能力 应答、报告生成、医学图像分类等。

接下来，研究人员利用 MultiMedBench 通过微调 PaLM-E 模型并将其与生物医学领域对齐来开发 Med-PaLM M。 通用生物医学人工智能模型将多模式医疗数据作为输入，同时使用一组模型参数对其进行处理，并且能够执行多项任务。

更具体地说，该团队通过使用指令调整同时使用不同任务的混合来训练模型，添加纯文本的“一次性示例”以使模型与指令保持一致，并微调 PaLM 的预训练变体 E 在 MultiMedBench 任务上获得生成的 Med-PaLM M 模型。

在他们的实证研究中，评估了 Med-PaLM M 在 MultiMedBench 中的所有任务。 Med-PaLM M 在所有任务上都表现接近或超过基线的 SOTA，同时还表现出强大的零样本泛化能力。

据团队所知，Med-PaLM M是通用生物医学人工智能系统的首次尝试，团队相信他们的工作代表了通用生物医学人工智能发展的关键一步。