Visa AI购物评估显示22款模型的失败率为43.4%

V+1.31%

关键要点

  • Visa 的 AI 智能购物评估显示,22 个 AI 模型的失败率为 43.4%,通过率介于 28.9% 至 82.2% 之间。
  • 仅有 33% 的测试在三次重复尝试中全部通过,表明 AI 模型在不同购物场景中的性能稳定性不足。
  • Visa 计划将智能体商务评估基准扩展至更多产品类别,并将测试范围延伸至结账、支付和订单完成流程。

Visa 发布了业内首个 AI 智能购物评估,通过模拟真实消费场景评估主流 AI 模型的表现,并向消费者开放测试平台。首轮评估显示,AI 购物的平均通过率仅为 56.6%,失败率达 43.4%,整体表现稳定性不足。此次评估涵盖来自 12 个开发团队的 22 款 AI 模型,涉及电视、笔记本电脑和个人护理电器等 15 种购物场景,通过率介于 28.9% 至 82.2% 之间。

Visa 建立 AI 购物评估标准与测试方法

Visa 的 AI 智能购物评估标准要求 AI 通过对话准确识别消费者的实际需求。如果没有符合指定条件的商品,AI 不得下单。基准测试特别要求 AI 收集充足信息,避免在充分了解消费者需求之前仅凭猜测做出决定。每款 AI 模型都在包括电子产品和个人护理电器在内的多种购物场景中接受了三次测试。

评估结果显示 AI 模型表现差异显著

首轮评估测试了来自 12 个 AI 开发团队的 22 款 AI 模型,覆盖 15 种购物场景。平均通过率仅为 56.6%,表现最佳的模型达到 82.2%,得分最低的模型仅为 28.9%。通过消费者对话识别出最多潜在购买需求的五款 AI 模型,平均通过率为 68%;捕捉到的需求最少的五款模型得分低于 50%,为 44.4%。单次测试成本最高的五款模型平均通过率为 65%,而成本最低的五款模型为 50%。

关键发现揭示消费者需求理解与稳定性方面的不足

对所有模型和场景的综合测试显示,仅有 33% 的测试在三次重复尝试中全部通过,表明 AI 模型表现的稳定性不足。在失败测试中,约有一半(53%)仍出现 AI 决定继续购买的情况,包括推荐不符合消费者需求的商品,或未能充分捕捉所有购买条件。Visa 指出,消费者必须警惕这些失败情况。

Visa 计划扩展基准测试并加强行业协作

Visa 台湾总经理黄慧君表示,Visa 相信 AI 将引领商业迈入新时代,而信任是将未来商业蓝图变为现实的关键。AI 智能购物评估标准是 Visa 持续推动行业标准提升的具体举措。Visa 认为,减少错误和提升稳定性是建立消费者对智能体商务信任的关键,这两方面都需要改进。Visa 计划继续扩展智能体商务评估基准,纳入更多购物场景和产品类别,并将测试范围延伸至结账、支付和订单完成流程。Visa 已与领先的 AI 模型供应商分享评估基准,以收集相关反馈。

常见问题

Visa 的 AI 智能购物评估揭示了 AI 模型表现方面的哪些情况?

Visa 首轮 AI 智能购物评估显示,来自 12 个开发团队的 22 款 AI 模型平均通过率为 56.6%,意味着失败率为 43.4%。模型表现差异显著,最佳模型达到 82.2%,最差的仅为 28.9%。仅有 33% 的测试在三次重复尝试中全部通过,表明模型存在稳定性问题。

为什么一些 AI 模型未能通过 Visa 的购物评估?

约 53% 的失败测试中,AI 在不满足要求的情况下仍决定继续购买,原因包括推荐不符合消费者要求的商品,或未能充分捕捉所有购买条件。通过对话识别出较少潜在购买需求的模型,通过率较低(44.4%),而捕捉到更多消费者需求的模型通过率为 68%。

Visa 计划如何改进 AI 购物标准?

Visa 计划通过纳入更多购物场景和产品类别,并将测试范围扩展至结账、支付和订单完成流程,来扩展智能体商务评估基准。Visa 已与领先的 AI 模型供应商分享评估基准以收集反馈,并致力于减少错误、提升 AI 购物系统的稳定性。

免责声明:本页面信息可能来自第三方,仅供参考,不代表 Gate 的观点或意见,亦不构成任何财务、投资或法律建议。数字资产交易风险较高,请勿仅依赖本页面信息作出决策。具体内容详见声明。
评论
0/400
暂无评论