谷歌语言模型「Google DeepMind 使用大型语言模型解决纯数学中的著名未解问题」

12 月 15 日消息:Google DeepMind 最近利用一种大型语言模型成功破解了纯数学中一个著名的未解问题。该团队在《自然》杂志上发表的论文中宣称，这是首次使用大型语言模型发现长期科学难题的解决方案，产生了之前不存在的可验证且有价值的新信息。Google DeepMind 研究副总裁 Pushmeet Kohli 表示：这不在训练数据中——甚至以前是未知的。

大型语言模型通常以编造事实而闻名，而不是提供新事实。Google DeepMind 的新工具 FunSearch 可能改变这一点。它表明，只要适当引导，并且舍弃它们提出的大部分内容，这些模型确实可以做出发现。

FunSearch（之所以这样命名，是因为它搜索数学函数，而不是因为它有趣）延续了 DeepMind 使用 AI 在基础数学和计算机科学领域取得的一系列发现。首先是 AlphaTensor 找到了一种加快多种不同类型代码核心计算的方法，打破了 50 年来的记录。然后是 AlphaDev 找到了加快每天使用数万亿次的关键算法的方法。

然而，这些工具并没有使用大型语言模型。它们都建立在 DeepMind 的游戏 AI AlphaZero 之上，通过将数学问题视为围棋或国际象棋中的难题来解决。问题是它们局限于自己的领域，如同公司研究员 Bernardino Romera-Paredes 所说：AlphaTensor 擅长矩阵乘法，但基本上没有别的。

FunSearch 采用了不同的方法。它结合了一个称为 Codey 的大型语言模型（一种在计算机代码上微调的 Google PaLM 2 版本）和其他系统，后者可以排除不正确或无意义的答案，并将好的答案重新输入。

Fawzi，Google DeepMind 的研究科学家说：说实话，我们有假设，但我们不确切知道为什么这有效。项目开始时，我们不知道这是否会奏效。

研究人员首先用 Python（一种流行的编程语言）勾勒出他们想要解决的问题，但省略了指定如何解决问题的程序行。这就是 FunSearch 介入的地方。它让 Codey 填补空白——实际上，提出解决问题的代码建议。

然后，第二个算法检查并评分 Codey 提出的内容。最佳建议——即使还不正确——被保存并反馈给 Codey，后者再次尝试完成程序。许多将是无意义的，一些将是合理的，少数将是真正有启发性的，Kohli 说。你拿着这些真正有启发性的内容，然后说，『好的，拿着这些重复一遍。』

经过几百万次建议和几十次整体过程的重复（历时几天），FunSearch 终于提出了一个正确且之前未知的解决 cap set 问题的代码，该问题涉及寻找某种类型集合的最大尺寸。可以想象在图表纸上绘制点。cap set 问题类似于尝试确定可以放置多少个点，而不会让其中任何三个点形成一条直线。

这个问题非常细致，但很重要。数学家们甚至不同意如何解决它，更不用说解决方案是什么了。（它还与 AlphaTensor 加速的计算——矩阵乘法——有关。）加州大学洛杉矶分校的 Terence Tao，曾获得多个数学顶级奖项，包括菲尔兹奖，他在 2007 年的博客文章中称 cap set 问题为我最喜欢的开放性问题。

Tao 对 FunSearch 能做的事情感到好奇。他说：这是一个有前途的范例。这是利用大型语言模型的力量的一种有趣方式。

与 AlphaTensor 相比，FunSearch 的一个主要优势是，理论上它可以用来找到一系列问题的解决方案。这是因为它产生代码——生成解决方案的方法，而不是解决方案本身。不同的代码将解决不同的问题。FunSearch 的结果也更容易理解。Fawzi 说，方法通常比它产生的奇怪数学解决方案更清晰。

为了测试其多功能性，研究人员使用 FunSearch 来解决另一个数学难题：bin packing 问题，该问题涉及尝试将物品尽可能少地装入箱子中。这对计算机科学的一系列应用很重要，从数据中心管理到电子商务。FunSearch 提出了一种比人类设计的方法更快的解决方案。

Tao 表示，数学家们仍在努力弄清楚如何最好地将大型语言模型纳入我们的研究工作流程，以利用它们的力量同时减轻它们的缺点。他说：这当然表明了一种可能的前进方向。