「科技点亮生活智能改变世界」

AI解决132年数学难题！Transformer成功寻找新的李雅普诺夫函数，三体问题相关

发布时间：2024-10-19 11:52:49 来源：互联网背景：

声明：本文来自于微信公众号量子位，授权转载发布。

训练Transformer，用来解决132年的数学世纪难题!

如何判断一个动力系统（如三体问题）是否稳定?Meta和巴黎理工学院团队携手提出Symbolic Transformer，直指这一经典难题的核心:

发现新的全局李雅普诺夫函数。

从牛顿、拉格朗日到庞加莱，无数科学家倾力研究三体问题的长期稳定性，却始终无法给出一个通用的判定方法。

直到1892年，俄国数学家Aleksandr Lyapunov提出了以他名字命名的李雅普诺夫函数:

如果存在一个函数V，其在平衡点处有严格最小值，在无穷远处为无穷大，且梯度始终指向远离系统梯度的方向，则全局稳定性得到保证。

但遗憾的是，李雅普诺夫只证明了这个结论，并没有提供寻找这个函数的方法。

130多年过去了，科学界仍然不知道对于一般的系统该如何寻找李雅普诺夫函数，现有的算法只能求解非常小规模的多项式系统。

换句话说，李雅普诺夫函数的系统化构造方法，依然是一个悬而未决的数学难题。

现在，这一局面有望被AI打破。

研究团队把寻找李雅普诺夫函数构建成一种序列到序列翻译任务，问题和解决方案都表示为符号tokens序列，就能用上原本为机器翻译而生的Transformer模型了。

最终，在8张V100上训练100个GPU时左右的模型，取得了惊人的成绩:

相关论文已入选NeurIPS2024，且刚刚在ArXiv公开。

作者Meta科学家François Charto表示，尽管Symbolic Transformer像其他AI模型一样还是一个黑盒系统，但它给出的李雅普诺夫函数是明确的符号表达式，完全可以经受数学证明的检验。

作者巴黎师范数学教授:黑魔法一般的方法

用Transformer解决数学难题，最大的困难是什么?

答案不难想到:缺少数据，特别是在这个场景中，需要动力系统与李雅普诺夫函数的配对数据。

为此，Meta和巴黎理工团队利用了正向和反向数据生成相结合的策略。

正向数据生成，也就是根据多项式系统生成对应的李雅普诺夫函数。

虽然没有通用方法，但如果一个李雅普诺夫函数能表示成多项式的平方和，就有现存工具可以计算。

最终方法分为三步:

不过这个方法有几个局限。

大多数对象是系统都不稳定，且计算平方和李雅普诺夫函数涉及复杂的搜索，系统规模的增长，对算力和内存需求会呈爆炸式增长，所以这种方法速度很慢且仅适用于小的多项式系统。

于是还需要配合反向数据生成方法，根据答案反向构造问题。

这种方法也存在几个局限，比如AI倾向于偷懒，从任务中学习更简单的子问题，因此也需要做出一些限制。

最终方法大致可以理解成，先随机生成一个满足特定条件的李雅普诺夫函数，再反向构造出与之匹配的动力系统。

最终团队生成了4个数据集:

BPoly，包含100万个反向生成的多项式系统与配对的李雅普诺夫函数，系统中的方程数量为2到5个不等。
BNonPoly，包含100万个反向生成的非多项式系统配对样本，现有算法通常无法处理这种类型的系统，非多项式李雅普诺夫函数的发现尤其具有挑战性
FBarr，包含30万个正向生成的Barrier函数配对样本，并不是严格的李雅普诺夫函数，用于测试模型在寻找不能严格满足李雅普诺夫正定条件的系统中的李雅普诺夫函数。
FLyap，包含10万个正向生成的标准李雅普诺夫配对样本，每个动力系统的李雅普诺夫函数都是非齐次多项式，

最终试验发现，在不同数据集上训练的模型都取得了很好的准确性。

使用Beam Search方法在宽度50时能给低性能模型带来额外7%-10%的提升。