OpenAI 本周发布了数百份声称解决了高难度数学问题的解答,并咨询了由顶尖数学家组成的顾问组,以避免重蹈过去的争议。然而,数学与人工智能顾问组(AGMAI)表示,OpenAI 未达到该领域的标准,尤其是在确保人类能够理解数学结果方面。一篇由剑桥大学和伦敦国王学院研究人员撰写的新论文指出,自然语言解答与形式化表达之间存在差距,而这一问题表面上已由 OpenAI 的模型解决,这引发了人们对 AI 生成的证明在未经人类验证时是否可靠的担忧。
AGMAI 指南与 OpenAI 的合规差距
数学与人工智能顾问组由普林斯顿高等研究院主办,成员包括来自世界各地机构的九位著名研究人员。该组织于 9 月底发布了有关前沿实验室如何解决数学问题的指南。AGMAI 的第一项要求是“停止在专有模型上测试高级数学问题”,但 OpenAI 发布的内容明确表示,其正在使用数学领域的开放研究问题评估专有模型。
OpenAI 遵循了 AGMAI 的一些原则,包括尽快发布结果,并提供有关模型如何得出结论的信息。然而,在 719 份手稿中,只有 10 份公开了模型的思维链。对于人类无法理解的论文,数学家建议将证明形式化,但 OpenAI 发布的证明中只有 42% 完成了这一流程。AGMAI 建议,OpenAI 应帮助资助人类数学家的工作,因为这些数学家将被要求赋予该实验室解答以实际意义。
剑桥论文记录 Lean 证明中的翻译差异
剑桥大学和伦敦国王学院的数学家本周发布的一篇论文,对前沿实验室应对这些挑战的方式提出了质疑。当 AI 模型解决数学问题时,它们首先会创建一份“自然语言”解释,然后尝试用 Lean 表达这一结果。Lean 是一种编程语言,理论上可以通过将证明编译成代码来验证其正确性。
该论文记录了自然语言证明与 OpenAI 针对一个关于描述流体复杂行为的纳维–斯托克斯方程问题所提供的解答背后的 Lean 代码之间至少两处差异。这些差异并不一定能证明任一解答是错误的,但它们引发了人们对模型是否能够在没有人类参与的情况下,简单地将自身的解答形式化的疑问。AGMAI 要求 OpenAI“加入用于将自然语言与形式化产物关联起来的机器可读元数据”,但这家前沿实验室并未在这些发布内容中这样做。
论文作者总结道:“由于误译现象——正如本文所强调的那样——OpenAI 的自然语言证明以及其他自动形式化的 Lean 证明,在表面上不应被直接信任,除非经过与其他证明所接受的相同同行评审流程和审查。”
数学家强调人类参与的必要性
著名数学家 Terence Tao 曾批评 OpenAI 的做法。他在相关内容发布后于社交媒体上写道:“AI 提示词编写者正在自主解决问题,而一旦他们最初设定的目标被‘解决’,他们就不再关心更广泛的领域本身,也没有充分理解 AI 的输出,无法回答有关结果的问题、发表演讲,或以其他方式与该领域的其他人互动。”
数学家强调,当人类发现新的结果时,他们会对这些结果负责,并通过论文、演讲和研讨会与更广泛的学术界展开交流。这一过程能够加深对解答的理解,找到可用于解决其他问题的策略,并让新知识得以应用于实践领域。哈佛大学数学教授 Melanie Wood 告诉 TechCrunch,当模型被提示解决一个难题并给出解答时,“在发布时,人类还没有理解这些解答,而现在工作才刚刚开始。”
常见问题
OpenAI 本周发布了哪些与数学有关的内容?
OpenAI 本周发布了数百份声称解决了高难度数学问题的解答,并表示已咨询由顶尖数学家组成的顾问组,以避免重蹈过去的争议。
剑桥大学的论文对 OpenAI 的数学解答提出了哪些担忧?
剑桥大学和伦敦国王学院的数学家本周发布的论文记录了自然语言证明与 OpenAI 针对一个源自纳维–斯托克斯方程的问题所提供解答背后的 Lean 代码之间至少两处差异,这引发了人们对 AI 模型能否在没有人类参与的情况下可靠地将自身解答形式化的疑问。