蚂蚁开源ATorch 、 Lookahead两项大模型技术_蚂蚁ocean base

1月18日 消息:最近，蚂蚁开源了两项与大模型相关的新技术:ATorch 和 Lookahead。

ATorch 是一个大模型分布式训练加速扩展库，可实现深度学习自动资源动态优化和分布式训练稳定性提升，可提升深度学习的智能性，千亿模型千卡级别训练的算力利用率可达60%。

Lookahead 是一个推理加速框架，可以大幅提升大模型的推理效率，可将推理加速2-6倍。

ATorch 采用了分层架构设计，功能清晰、设计全面，为开发者提供极致精简的开发体验。作为 PyTorch 框架的高性能扩展加速库，ATorch 最少化用户代码侵入，为千亿参数大模型千卡级训练提供易用的高性能方案。在实践中，ATorch 已经在多个开源模型的训练优化实践中表现出色，将算力利用率提升了很多，并且稳定性也得到了显著提升。ATorch 已集成到蚂蚁集团的大模型训练开源产品 DLRover 中，让大模型开发者能够更专注于模型架构的设计，而无需处理工程方面的细节。

Lookahead 是一个推理加速框架，可以将推理加速2-6倍。通过采用多分支策略，Lookahead 能够在一次前向过程中生成更多的 Token，进一步压榨硬件性能。此外，Lookahead 还利用 trie 树存储和检索 Token 序列，并合并多条草稿中相同的父节点，提高计算效率。为了提高易用性，Lookahead 的 trie 树构建不依赖额外的草稿模型，只利用推理过程中的 prompt 及生成的回答进行动态构建，降低了用户的接入成本。

开源地址:https://github.com/intelligent-machine-learning/dlrover/atorch

论文地址:https://arxiv.org/abs/2312.12728

开源地址:https://github.com/alipay/PainlessInferenceAcceleration

新鲜AI产品点击了解：https://top.aibase.com/