Arena 启动 AutoEval:AI 会在 1 小时内为新模型打分

根据 Beating Monitor,Arena 推出了 AutoEval,这是一种基于奖励模型的系统,可在不到 1 小时内为新模型生成排行榜分数,无需等待人工投票。该系统在数百万真实用户偏好数据上进行训练,并使用 AI 模拟投票,在人工评估者提出修正之前快速对模型进行排序。

Arena 的测试显示,AutoEval 与后续人工排名的相关性超过 0.98。当模型性能差距超过 10 分时,系统在判定胜者方面的准确率可达到 90% 以上;当差距超过 15 分时,准确率达到 100%。目前,该系统支持文本、视觉、图像生成和代码模型的评估。

免责声明:本页面信息可能来自第三方,仅供参考,不代表 Gate 的观点或意见,亦不构成任何财务、投资或法律建议。数字资产交易风险较高,请勿仅依赖本页面信息作出决策。具体内容详见声明。
评论
0/400
暂无评论