微软公布辅助模型 ICAE 可进行高效的上下文压缩

7月19日 消息:根据Arxiv平台发布的信息，微软公司近期公开了一项关于In-context Autoencoder（ICAE）模型的研究论文。这款模型的应用领域是大型语言模型(LLM)，主要目的在于进行高效的上下文压缩。

遗式透露，ICAE模型实际上包括两个主要模块。一个是可学习的编码器，其通过对LLM进行LoRA（Long Range Arena）策略进行采用、调整，具备了将长篇幅的上下文压缩至有限数量的存储槽的能力。另一个模块则是一个固定的解码器，而这个解码器能够根据存储槽中已经压缩的上下文信息，进行适当的条件选择以达成各种目标。

实验结果显示，ICAE模型可以有效地生成具有4倍上下文压缩能力的存储槽，并且其固定解码器能够非常好地对存储槽中的信息进行条件选择，从而帮助模型产生恰当的响应。

这表明，利用ICAE的特性，可以有效降低语言模型处理复杂上下文信息时的计算负担，从而提高模型的性能和效率。这也再次证明了微软公司在人工智能和自然语言处理领域的领先地位。