金融安全研究所制定包含 17 项内容的 AI Agent 安全标准

关键要点

  • 金融安全研究院于7日宣布推出17项面向金融领域的 AI Agent 安全评估标准。
  • 这些标准通过评估目标完整性、级联故障应对能力、工具权限控制和代理间通信安全,应对 AI Agent 面临的风险。
  • 试点验证将于今年结束,正式应用和 AI 红队报告发布将于明年开始。

金融安全研究院于7日宣布制定《金融领域 AI Agent 安全评估标准》,用于评估金融业务中使用的 AI Agent 面临的安全威胁,并设立17项检查内容。AI Agent 借助外部系统自主规划并执行任务。与主要面临幻觉或错误回答等威胁的生成式 AI 不同,AI Agent 的风险更高,因为错误判断可能导致实际操作。金融安全研究院通过分析国内外案例制定了这些标准,计划在今年年底前进行试点验证,并从明年开始正式应用。

金融安全研究院识别 AI Agent 的执行风险

金融安全研究院解释称,AI Agent 的错误判断可能带来重大运营风险。例如,被要求“优化系统性能”的 AI Agent 可能为了提升性能而擅自终止杀毒程序,或者在查看密码重置邮件后直接修改用户密码。这些场景说明了 AI Agent 与生成式 AI 之间的区别——前者的错误可能转化为具体的系统操作,而不仅仅是提供错误信息。

金融安全研究院为 AI Agent 安全设立17项检查内容

金融安全研究院通过分析国内外案例,制定了17项检查内容。重点包括目标完整性、应对级联故障的准备情况、工具权限控制、沙盒环境、人工授权系统建设,以及 AI Agent 之间的通信安全。研究院将在今年年底前进行试点验证,以确认标准的有效性,随后从明年开始扩大检查标准的正式应用范围。验证过程中发现的安全威胁、实际攻击技术以及最终评估标准,将在今年发布的《AI 红队报告》中披露。

金融安全研究院计划开展试点验证并扩大红队测试

金融安全研究院将把金融企业 AI 红队测试的范围扩大至执行层。具体而言,研究院将重点检查执行权限和系统隔离管理、工具执行与授权控制、任务范围与结果确认,以及自主执行限制和停止功能。金融安全研究院院长朴尚元表示:“以制定这些评估标准为契机,我们将切实验证金融领域 AI Agent 的风险,并积极支持金融企业安全、可靠地使用 AI 技术。”

常见问题

金融安全研究院于7日宣布了什么?

金融安全研究院于7日宣布制定《金融领域 AI Agent 安全评估标准》,设立17项检查内容,用于评估金融业务中使用的 AI Agent 面临的安全威胁。

为什么 AI Agent 比生成式 AI 面临更大风险?

AI Agent 面临更大风险,是因为其错误判断可能导致系统执行实际操作,例如终止杀毒程序或修改用户密码;而生成式 AI 的威胁主要涉及提供错误回答或产生幻觉,不会直接执行系统操作。

金融安全研究院何时正式应用 AI Agent 安全标准?

金融安全研究院将在今年年底前进行试点验证,以确认标准的有效性,随后从明年开始正式应用检查标准。

免责声明:本页面信息可能来自第三方,仅供参考,不代表 Gate 的观点或意见,亦不构成任何财务、投资或法律建议。数字资产交易风险较高,请勿仅依赖本页面信息作出决策。具体内容详见声明。
评论
0/400
暂无评论