Hillclimb 推出 DeepRSI 基准测试,包含 48 小时 AI 自我改进任务;Claude Fable 5.1 领先

Hillclimb 于 10 月 13 日推出了 DeepRSI,这是一项旨在衡量 AI 智能体如何针对开放式机器学习问题递归提升性能的基准测试。为期 48 小时的评估从四个类别的专有研究中选取了 15 项任务:深度学习训练、GPU 内核优化、估计器准确性,以及向量搜索等算法改进。

Claude Fable 5.1 在所有任务类别中均取得了最高的 Elo 排名,GPT-6 Astra 紧随其后,位居第二。该基准测试采用带有私有验证的 Bradley-Terry 系统来检测过拟合,其中 Gemini 的过拟合率为 2.6%,Grok 为 22.3%。Hillclimb 计划将测试时长延长至超过 48 小时,并在未来的评估中引入受限的互联网访问权限。

免责声明:本页面信息可能来自第三方,仅供参考,不代表 Gate 的观点或意见,亦不构成任何财务、投资或法律建议。数字资产交易风险较高,请勿仅依赖本页面信息作出决策。具体内容详见声明。
评论
0/400
暂无评论