Hillclimb 于 10 月 13 日推出了 DeepRSI,这是一项旨在衡量 AI 智能体如何针对开放式机器学习问题递归提升性能的基准测试。为期 48 小时的评估从四个类别的专有研究中选取了 15 项任务:深度学习训练、GPU 内核优化、估计器准确性,以及向量搜索等算法改进。
Claude Fable 5.1 在所有任务类别中均取得了最高的 Elo 排名,GPT-6 Astra 紧随其后,位居第二。该基准测试采用带有私有验证的 Bradley-Terry 系统来检测过拟合,其中 Gemini 的过拟合率为 2.6%,Grok 为 22.3%。Hillclimb 计划将测试时长延长至超过 48 小时,并在未来的评估中引入受限的互联网访问权限。