新加坡国立大学发布Goat 算数能力超过GPT-4「新加坡国立大学computing」

6月6日 消息:尽管大规模语言模型在各种自然语言处理任务中展现出卓越的性能，但算术类问题仍然是一个难题，即使是目前最强大的GPT-4也很难解决基本的运算问题。

最近，来自新加坡国立大学的研究人员提出了一个专门用于算术问题的模型，名为Goat。在对LLaMA模型进行微调后，Goat在算术上实现了比GPT-4更出色的性能。

通过微调合成的算术数据集，Goat在BIG-bench算术子任务上实现了最先进的性能。通过监督微调，Goat在大数加减运算中实现了准确率近乎完美，超越了之前所有的预训练语言模型，例如Bloom、OPT、GPT-NeoX等。其中，零样本的Goat-7B所达到的精度甚至超过了少样本学习后的PaLM-540。

论文地址:https://arxiv.org/pdf/2305.14201.pdf

研究人员将Goat的卓越性能归功于LLaMA的数字一致性分词技术。

为了解决更具挑战性的任务，例如大数乘法和除法，研究人员提出了一种方法，将任务根据算术的可学习性进行分类，然后利用基本算术原理将不可学习的任务（例如多位数乘法和除法）分解为一系列可学习的任务。通过全面实验验证后，文中提出的分解步骤可以有效地提高算术性能。

此外，Goat-7B可以在24GB VRAM GPU上使用LoRA进行高效训练。而其他研究人员也可以很容易地重复这个实验，因为该模型、数据集和生成数据集的Python脚本即将开源。