清华大学提出全新加速训练大模型方法SoT

要点:

• 研究人员提出了一种名为“Skeleton-of-Thought（SoT）”的创新方法，旨在加速大型语言模型(LLMs)的生成速度，以解决其处理速度较慢的问题。

• 与传统方法不同，SoT不对LLMs进行复杂的修改，而是将其视为黑匣子，专注于优化输出内容的组织，通过引入独特的两阶段过程来提高响应速度。

• 通过对12个不同领域的模型进行测试，使用Vicuna-80数据集，研究团队观察到SoT在八个模型上实现了1.13x到2.39x的速度提升，而不牺牲答案质量。

11月24日 消息:近日，微软研究和清华大学的研究人员共同提出了一种名为“Skeleton-of-Thought（SoT）”的全新人工智能方法，旨在解决大型语言模型(LLMs)生成速度较慢的问题。

尽管像GPT-4和LLaMA等LLMs在技术领域产生了深远影响，但其处理速度的不足一直是一个制约因素，特别是在对延迟敏感的应用中，如聊天机器人、协同驾驶和工业控制器。SoT方法与传统的性能提升方法不同，它不对LLMs进行复杂的修改，而是将其视为黑匣子，并侧重于优化输出内容的组织结构。

项目地址：https://github.com/imagination-research/sot/

SoT引入了一个独特的两阶段过程，首先引导LLM构建答案的骨架，然后在第二阶段使LLM同时扩展骨架中的多个要点。这一方法不仅提高了LLMs的响应速度，还在不需要对模型架构进行复杂调整的情况下实现了这一目标。

为了评估SoT的有效性，研究团队对12个不同领域的模型进行了广泛测试，使用了Vicuna-80数据集，其中包含了来自编码、数学、写作和角色扮演等各个领域的问题。

通过使用FastChat和LLMZoo的度量标准，研究团队观察到SoT在八个模型上实现了1.13x到2.39x的速度提升，而且这些提升并没有牺牲答案质量。这表明SoT不仅可以显著提高响应速度，还能够在各种问题类别中保持或提升答案质量。

因此，SoT方法为解决LLMs速度较慢的问题提供了一种有前景的解决方案。研究团队的创新方法将LLMs视为黑匣子，并专注于数据级别的效率优化，为加速内容生成提供了新的视角。通过引导LLMs构建答案的骨架，然后进行并行扩展，SoT有效地提高了响应速度，为人工智能领域的动态思维过程开辟了新的探索方向，鼓励向更高效、更多才多艺的语言模型发展。