/洞察

昂塔拉知识系统

企业如何治理 AI Agent?

治理先回答谁负责、什么情况必须停止,以及变更后如何重新验证。它覆盖任务进入、运行、交接、失败处理与退出,而不只是增加一条提示词。

核心说明

治理 AI Agent 的核心不是限制模型能力,而是定义其可读取的上下文、可调用的工具、可执行的动作、审批条件和可追溯审计记录。

01

第一步:按后果区分任务

把拟用任务分成读取分析、内部草稿、业务写入和外部执行,分别记录可能影响的人、数据与业务结果。风险等级应由企业按具体后果确定,不能仅由工具名或 Agent 名称决定。改价、付款、合同、发布等动作需要明确的人工决策边界。

02

第二步:建立任务契约

每个任务写清目标、范围、允许来源、可用工具、交付物、截止或超时规则、停止条件与复核人。把事实、模型推断和待补证事项分别输出。任务涉及新的数据源、收件人或写入动作时,先重新核对授权,不能把上一个任务的许可沿用到新范围。

03

第三步:安排失败和交接

来源不可用时标记未更新;来源冲突时保留双方记录并交责任人确认;权限拒绝时停止相关动作。设定有限的重试次数和人工接手路径,避免重复写入或反复发送。交接材料应包含已完成步骤、失败原因、证据位置和仍需决定的事项。

04

第四步:验证变更与停止能力

为正常、缺失、冲突、越权、超时和重复请求准备测试。模型、工具、提示词或业务规则变化后,重放受影响任务;检查结果与权限边界是否变化。验收还应演练暂停任务、撤销访问和人工接管,不只检查一次顺利完成的演示。

05

需要哪些治理材料?

准备任务清单、数据与系统负责人、风险分类、工具权限、现有审批规则、故障联系人和保留期限要求。交付可以包括任务契约、测试记录、问题清单与人工复核结论。治理文件存在不等于规则已生效,需结合执行记录核对。

06

参考范围与不能承诺的事

NIST AI RMF 是自愿性风险管理框架,生成式 AI 概况提出相应风险与建议行动。本页借此说明风险识别和持续评估的重要性,具体任务方法为 Ontara 的设计建议。它不能消除模型错误,也不构成合规结论、NIST 认证或客户实施证明。

参考资料

内容复核日期:(不代表项目成效日期)