微软研究人员用儿童故事进行训练：微型语言模型进入成熟期

10月9日消息:学习英语并不容易，许多学生都深有体会。但当学生是一台计算机时，有一种方法表现出奇地出色：只需将大量来自互联网的文本输入到一个名为神经网络的巨大数学模型中。

这就是生成式大语言模型（如 OpenAI 的 ChatGPT）的工作原理，这些模型能够在各种主题上进行连贯（尽管不总是真实）的对话，令研究人员和公众在过去的一年中感到惊讶。

但这种方法也有其缺点。首先，将大量文本档案转化为最先进的语言模型所需的训练过程既昂贵又耗时。其次，即使是训练大型语言模型的人们也很难理解它们的内部工作原理；这反过来又使得难以预测它们可能出现的许多问题。

面对这些困难，一些研究人员选择对较小的数据集上的较小模型进行训练，然后研究它们的行为。布朗大学的语言模型研究员 Ellie Pavlick 表示：这就像测序果蝇基因组与测序人类基因组一样。

现在，在最近发布在科学预印本服务 arxiv.org 上的一篇论文中，两名微软研究人员介绍了一种训练微小语言模型的新方法：用儿童故事来训练它们。

机器学习研究人员已经接受了这一教训。驱动 ChatGPT 界面的大型语言模型 GPT-3.5 拥有近 2000 亿个参数，它是在包含数千亿个词汇的数据集上训练的。（OpenAI 尚未公布其继任者 GPT-4 的相应数据。）训练如此大型的模型通常需要至少 1000 个并行运行数周的专用处理器（称为 GPU）。只有少数公司能够调集必要的资源，更不用说训练和比较不同模型了。

这两名研究人员展示了，与今天的最先进系统相比，比这些系统小数千倍的语言模型在这种方式下能够迅速学会讲述一致和符合语法的故事。他们的研究结果暗示了可能有助于训练更大型模型并理解其行为的新研究方向。