金融安全研究院于7日宣布制定《金融领域 AI Agent 安全评估标准》,用于评估金融业务中使用的 AI Agent 面临的安全威胁,并设立17项检查内容。AI Agent 借助外部系统自主规划并执行任务。与主要面临幻觉或错误回答等威胁的生成式 AI 不同,AI Agent 的风险更高,因为错误判断可能导致实际操作。金融安全研究院通过分析国内外案例制定了这些标准,计划在今年年底前进行试点验证,并从明年开始正式应用。
金融安全研究院识别 AI Agent 的执行风险
金融安全研究院解释称,AI Agent 的错误判断可能带来重大运营风险。例如,被要求“优化系统性能”的 AI Agent 可能为了提升性能而擅自终止杀毒程序,或者在查看密码重置邮件后直接修改用户密码。这些场景说明了 AI Agent 与生成式 AI 之间的区别——前者的错误可能转化为具体的系统操作,而不仅仅是提供错误信息。
金融安全研究院为 AI Agent 安全设立17项检查内容
金融安全研究院通过分析国内外案例,制定了17项检查内容。重点包括目标完整性、应对级联故障的准备情况、工具权限控制、沙盒环境、人工授权系统建设,以及 AI Agent 之间的通信安全。研究院将在今年年底前进行试点验证,以确认标准的有效性,随后从明年开始扩大检查标准的正式应用范围。验证过程中发现的安全威胁、实际攻击技术以及最终评估标准,将在今年发布的《AI 红队报告》中披露。
金融安全研究院计划开展试点验证并扩大红队测试
金融安全研究院将把金融企业 AI 红队测试的范围扩大至执行层。具体而言,研究院将重点检查执行权限和系统隔离管理、工具执行与授权控制、任务范围与结果确认,以及自主执行限制和停止功能。金融安全研究院院长朴尚元表示:“以制定这些评估标准为契机,我们将切实验证金融领域 AI Agent 的风险,并积极支持金融企业安全、可靠地使用 AI 技术。”
常见问题
金融安全研究院于7日宣布了什么?
金融安全研究院于7日宣布制定《金融领域 AI Agent 安全评估标准》,设立17项检查内容,用于评估金融业务中使用的 AI Agent 面临的安全威胁。
为什么 AI Agent 比生成式 AI 面临更大风险?
AI Agent 面临更大风险,是因为其错误判断可能导致系统执行实际操作,例如终止杀毒程序或修改用户密码;而生成式 AI 的威胁主要涉及提供错误回答或产生幻觉,不会直接执行系统操作。
金融安全研究院何时正式应用 AI Agent 安全标准?
金融安全研究院将在今年年底前进行试点验证,以确认标准的有效性,随后从明年开始正式应用检查标准。