共计 1275 个字符,预计需要花费 4 分钟才能阅读完成。
AI 代理(AI Agent)正在快速进入企业核心业务流程,但监管机构已经开始担忧——治理跟得上吗?澳大利亚金融监管机构 APRA 最新发布的警告,以及 FIDO 联盟的新动作,给所有部署 AI 代理的企业敲响了警钟。
APRA:AI 代理治理实践「普遍不足」
APRA(澳大利亚审慎监管局)对多家大型金融机构进行了专项审查,重点评估 AI 采用情况及相关风险。审查结果令人担忧:
- 几乎所有机构都在使用 AI,但风险管理成熟度参差不齐
- 很多机构依赖供应商的演示和总结来做决策,董事会缺乏对 AI 的真正理解
- 将 AI 风险等同于其他技术风险,忽视了模型的不可预测性和偏见问题
具体风险领域
模型行为监控缺失
APRA 发现许多机构 没有持续监控模型行为变化的机制,也缺乏明确的模型下线(decommission)流程。更关键的是——很多企业甚至不清楚自己到底部署了多少个 AI 工具,也没有指定具体的负责人。
人机协作边界模糊
高风险决策(如贷款审批)是否有人工介入?APRA 明确指出:不能把 AI 当作黑箱甩手掌柜,人类必须保留对高风险操作的最终控制权。
身份与访问管理漏洞
传统身份管理系统是为人类员工设计的。AI 代理是非人类实体,现有访问控制实践在很多机构中并未对此调整。这带来了新的攻击面:
- 提示注入(Prompt Injection)攻击
- 不安全的 AI 集成被利用
- AI 辅助开发带来的代码安全风险
供应商锁定风险
很多机构严重依赖单一 AI 供应商,但 几乎没有机构有真正的退出计划。一旦供应商出问题,业务连续性将面临严峻挑战。
FIDO 联盟:制定代理认证新标准
应对这些挑战,FIDO 联盟(身份认证领域权威标准组织)成立了 Agentic Authentication 技术工作组,专门开发代理发起操作的认证规范。
FIDO 指出现有身份验证模型 是为人类交互设计的,不适合委托软件代理执行操作。服务提供商需要验证:谁 / 什么授权了这项操作?在什么条件下授权?
已提交审议的方案包括:
- Google 的 Agent Payments Protocol
- Mastercard 的 Verifiable Intent 框架
此外,网络安全中心(CIS,美国国土安全部资助的非营利组织)发布了 AI 安全配套指南,包括 LLM 安全指南和MCP 安全访问指南,聚焦软件工具的非人类身份管理和网络交互安全。
企业应对建议
基于 APRA 的建议和 FIDO 的工作方向,企业应该:
- 建立 AI 资产清单:全面梳理所有 AI 工具、部署位置、责任人
- 调整访问控制:为 AI 代理配置独立的权限体系,而非复用人类账号
- 保留人类控制权:高风险操作必须有人工审批节点
- 监控模型行为:建立持续的性能和质量监控机制
- 制定退出策略:降低对单一供应商的依赖
- 测试 AI 生成代码:AI 辅助开发的代码必须经过安全审查
总结
AI 代理的快速部署与企业治理能力的滞后之间的差距,正在成为监管关注的焦点。APRA 的警告不是空穴来风——它是第一块倒下的多米诺骨牌。随着 FIDO 等标准组织开始制定规范,企业应该尽快建立 AI 代理治理框架,否则将面临越来越大的合规压力。
对于开发者而言,理解 AI 治理、安全认证、访问控制等概念,将成为构建企业级 AI 系统的必备知识。