LLM-Adapters：将各种适配器集成到大型语言模型中

代码:https://github.com/AGI-Edgerunners/LLM-Adapters

LLM-Adapters 框架包含了最先进的开放访问大型语言模型，如 LLaMA、BLOOM、OPT 和 GPT-J，以及广泛使用的适配器，具体如下:

1、串联适配器（Series Adapter）:在每个Transformer块的多头自注意力层和前馈层后串联地添加瓶颈前馈层，如图1(a)所示。

2、并行适配器（Parallel Adapter）: 如图1(b)所示，将瓶颈前馈层与每个Transformer层的多头自注意力层和前馈层并行地集成。

3、LoRA:如图1（c）所示，向现有层中注入低秩可训练矩阵，实现参数高效微调。

LLM-Adapters框架设计在研究、efficient、模块化和可扩展方面表现良好，允许集成新的适配器和用新的更大规模的语言模型进行评估。

为了评估 LLM-Adapters 中的适配器的有效性，作者在6个数学推理数据集上进行了实验。实验结果表明，在简单的数学推理任务上，使用较小规模语言模型的参数高效微调仅需要很少的可训练参数，就能达到强大语言模型在零样本推断中可比的性能。总体而言，LLM-Adapters 框架提供了一个有希望的框架来微调大型语言模型用于下游任务。

核心功能:

• 适配器集成:将各种适配器（如 LoRA、AdapterH、AdapterP、Parallel）集成到 LLMs 中，提供灵活的模型适配能力。

• 参数高效微调:使用适配器进行参数高效微调，减少参数量，节省训练时间和计算资源。

• 支持多种任务:适用于各种 NLP 任务，如语言生成、问答、机器翻译等。

• 提供预训练模型:集成了 LLaMa、OPT、BLOOM 和 GPT-J 等最先进的预训练模型，可直接使用。

• 简化模型训练和推理:提供训练和推理代码示例，简化模型训练和推理流程。

• LLM-Adapters 是一个强大的工具，可帮助用户快速搭建和优化大型语言模型，并在各种 NLP 任务上取得优秀的性能。