​清华、哈工大提出OneBit方法：可把大模型压缩到1bit 保持 83% 性能

划重点:

⭐ 清华大学和哈尔滨工业大学联合发布论文，将大模型压缩到1bit，保持83% 性能;

⭐ OneBit 方法首次尝试1bit 量化，突破了2bit 的限制;

⭐ 新方法结合1bit 层结构、基于 SVID 的参数初始化和量化感知训练。

3月4日 消息:近期，清华大学和哈尔滨工业大学联合发布了一篇论文，成功将大模型压缩到1bit，仍保持83% 的性能。这一成果标志着量化模型领域的一次重大突破。过去，2bit 以下的量化一直是研究人员难以逾越的障碍，而这次的1bit 量化尝试，引起了国内外学术界的广泛关注。

这项研究提出的 OneBit 方法，首次尝试将预训练大模型压缩到真正的1bit。通过全新的1bit 层结构、基于 SVID 的参数初始化和量化感知训练，成功将大模型参数压缩到1bit 表示。该方法不仅保留了模型的高精度和高秩，还能够在极大幅度压缩模型参数的同时，保证模型至少83% 的性能。

OneBit 方法的核心在于将权重矩阵压缩到1bit，并引入两个 FP16格式的值向量以弥补精度损失。通过新的参数初始化方法 SVID 和知识迁移，成功将高精度预训练模型的能力转移到1bit 量化模型上。实验结果表明，OneBit 方法相较于其他2bit 量化方法，在验证集困惑度和 Zero-shot 准确度上表现更为优秀。

该研究的意义在于，成功突破了2bit 量化的障碍，为在 PC 和智能手机上部署大模型提供了新的可能性。未来，随着技术的不断进步，将有望实现将大型语言模型等大模型压缩到极低位宽，并实现在移动设备上高效运行的愿景。

论文地址:https://arxiv.org/pdf/2402.11295.pdf