Meta研究人员提出轻量级微调方法RA-DIT 以增强语言模型知识检索能力

文章概要:

1. RA-DIT通过两阶段调优提升语言模型利用检索信息的能力和检索器提供相关结果的能力。

2. RA-DIT在知识密集的零样本和少样本学习基准测试中优于现有检索增强模型。

3. RA-DIT65B在需要利用知识的任务中表现显著提升，展现调优带来的效果。

10月8日 消息:最近，Meta的研究人员提出了一种名为检索增强双指令调优（RA-DIT）的新型人工智能方法，用于提升语言模型的知识检索能力。该方法试图解决大型语言模型在捕获较为冷门知识时的局限性以及大规模预训练的高计算成本问题。

RA-DIT是一个轻量级的两阶段微调方法，旨在为任何语言模型赋予高效的检索能力。它通过两种不同的微调方式，每种方式都能带来可观的性能提升。首先，它会优化语言模型利用检索到的信息的能力。其次，它会优化检索器提供的内容相关性，使其能够提供更符合语言模型偏好的相关结果。通过同时提升语言模型使用检索信息的效果和检索器提供内容的相关性，RA-DIT能有效地增强语言模型的知识检索能力。

图源备注：图片由AI生成，图片授权服务商Midjourney

研究人员采用了在大规模数据集上进行过预训练的LLAMA语言模型，并使用初始化为DRAGON模型的双编码器检索架构。此外，他们还提到了使用并行上下文检索增强，以更有效地计算语言模型的预测。

实验结果显示，RA-DIT65B在知识密集的零样本和少样本学习任务中设置了新的基准，大幅超过现有的上下文检索增强语言模型。这证明了轻量级指令调优在提高检索增强语言模型性能方面的效果，特别是在需要访问大量外部知识源的场景中。在需要利用知识和语境感知的任务中，RA-DIT65B的表现有了大幅提升。此外，与基础LLAMA模型相比，RA-DIT在8个常识推理评估数据集中表现更好。

RA-DIT为预训练语言模型带来了检索能力的提升。它在知识密集的零样本和少样本评估中取得了最先进的结果，超过了未调优的上下文检索增强语言模型，与大规模预训练的方法展现出竞争力。RA-DIT显著改善了对知识利用和语境感知的要求较高的任务的表现。该研究证明了轻量级指令调优对检索增强语言模型的有效性，特别是在涉及大规模外部知识源的场景中。

论文网址:https://arxiv.org/abs/2310.01352