上海AI实验室开源工具箱XTuner 8GB显卡就可训练大模型

9月20日 消息:近日，上海人工智能实验室发布了一款面向大模型训练的开源工具箱XTuner，通过支持多种硬件适配，大幅降低了企业进行大模型训练的门槛，尤其是对中小企业具有重要意义。

XTuner为各类开源模型提供了多样的微调框架

XTuner支持与多款开源大模型的无缝衔接，可执行增量预训练、指令微调等任务类型。开发者仅需使用8GB消费级显卡，就可以训练出适用于具体业务场景的“专属大模型”。这极大地降低了进行大模型训练的“真金白银”成本。

XTuner还具备支持多种数据集格式适配、结合社区主流开源训练框架、一键式标准化训练流程等功能。这些“黑科技”令开发者可以更专注于数据本身，而其余训练流程可完全交给XTuner自动化完成。

通过XTuner，开发者可以轻松为大模型添加新功能，例如赋予颜色识别、搜索引擎等能力。这有助于根据具体业务需求，对通用预训练模型进行快速定制优化。

XTuner的发布再次巩固了上海AI实验室在大模型研发与应用领域的全链条开源布局。该实验室此前已开源发布多项大模型工具，并提供免费商用。业内人士表示，这将推动我国在人工智能核心领域的技术进步。

开源链接:

https://github.com/InternLM/xtuner