Lantide Data
返回博客
Agent 治理

AI Agent 治理怎么落地?别从政策文件开始,先画出「谁能做什么」

AI Agent 治理要先把使用者、Agent、工具与资料的能力边界划清楚,再配置核准、监控与复原;本文提供可直接填写、测试与指定 owner 的六格能力地图。

AI Agent 治理的起点,不是再写一份「AI 应负责任使用」政策,而是把每个 actor 能读什么、能呼叫什么工具、何时要人核准、事后留下什么证据划清楚。先完成 capability map,再把政策逐条绑到 scope、approval、telemetry、recovery 与明确 owner,治理才会进入产品与日常流程。

为什么只有原则,挡不住一个 tool call

聊天工具主要产生文字;Agent 则可能连续读资料、呼叫工具、建立档案、送出结果或修改设定。风险不只来自恶意行为,也可能来自目标含糊、资料误读、工具描述受污染,或模型把「可以做」误认成「应该做」。

政策若只写「需有人类监督」,实作者仍不知道:哪种查询可以自动跑?谁核准?核准看到哪些参数?出错时能否撤销?同样地,「保留 audit trail」也不等于把所有 prompt 与资料全文写入 log;那可能创造另一份敏感资料副本。

NIST AI RMF Core 将 AI 风险管理分成 Govern、Map、Measure、Manage,并要求清楚界定人与 AI 的角色、持续监控及定期检视。AI RMF 1.0 目前正在修订,因此适合当作组织风险语言,而不是把单一版本当成永远不变的合规清单。

六格能力地图:把抽象治理翻成可测试问题

为一个具体 use case 填完以下六格,比从「全公司的 AI」开始更有效。

1. Scope:它在哪里工作?

列出资料来源、workspace、专案、使用者群与环境。不要只写「公司资料」,要具体到 schema、资料夹或客户范围。

测试问题: Agent 能否在没有明确选择的情况下跨 workspace?能否看到任务无关的敏感栏位?

2. Capability:它被允许做什么?

把能力拆成 read、analyze、write artifact、export、external action、admin。权限应由执行层强制,不靠 prompt 要求模型自律。

测试问题: 唯读角色呼叫写入工具时,后端是否拒绝?正式分析工具是否能在未核准状态使用?

3. Approval:哪些决定由谁核准?

核准点应和影响匹配。栏位探索可能不需逐次批准;会进财务、客户或主管会议的正式数字,应先审口径;对外传送、管理设定或不可逆动作则需更强确认。

测试问题: 审阅者看得到目的、资料范围、参数与副作用吗?拒绝后是否 fail closed?

4. Telemetry:怎么知道它真的做了什么?

至少记录 actor、时间、workspace、tool、policy/approval 结果、受影响 artifact 与执行状态。输出摘要要能连回正式 evidence,而不是只保存 Agent 的自述。

测试问题: 三天后能否回答「这个数字由哪个查询产生」?Credential 与敏感正文是否有遮蔽?

5. Recovery:出错后怎么停、怎么复原?

Recovery 包含终止 session、撤销 credential、回退可逆内容、重新执行与事件通报。要区分文字变更与真正的外部副作用;不是所有动作都能 Undo。

测试问题: 异常回圈能否中止?后续已有人工修改时,回退是否会因 conflict 被阻挡?

6. Accountability:谁拥有结果与控制?

为 use case 指定业务 owner、资料 owner、技术 owner 与 incident owner。Human approval 不会把所有责任神奇地转给「最后按按钮的人」;界面与资料不足时,核准本身也可能失效。

测试问题: 指标口径谁签、权限谁开、事故谁处理、多久 review 一次?

实例:把「分析上月转化率」分成三级

同一句任务可以依影响分级,而不是一律自动或一律封锁:

风险级别 任务 自动化范围 人类控制
看 schema、空值、日期范围 在指定 workspace 内自动探索 可随时中止;保留查询活动
计算内部周会漏斗 Agent 草拟 Plan 与 SQL 审分母、时间窗、排除条件后 Execute
对外揭露或修改资料/设定 不直接授权 独立确认、限定目的地、额外 owner 核准

这个分级的关键不是 SQL 长度,而是错误影响与可恢复性。查询只有十行,也可能产生财报用数字;一个长达数十步的 schema 盘点,若只读且不外传,反而可能是低风险。

三种常见「有治理外观、没治理效果」的设计

每一步都让人按 Allow

确认疲劳会把核准降格成节奏障碍。把同一 Plan 范围内、可追溯的查询整合成一次有意义的授权;对超出范围的高影响动作再独立确认。

有 log 就叫 audit

若 log 看不到 workspace、工具参数与 artifact,只留下自然语言摘要,就难以调查。反过来,若把 token 与完整资料全部写入 log,也不是安全的 audit。

把 Admin 当预设便利模式

Admin 不是「比较不会卡住」,而是允许更高信任的组织与设定操作。第一次试用应从最小能力开始,以实际阻碍证明升权的必要。

OWASP AI Agent Security Cheat Sheet 将 tool misuse、privilege escalation、memory poisoning、excessive autonomy 与 sensitive data exposure 分开处理,也说明 Agent 治理不能只防 prompt injection;身份、工具、记忆与资料流都要有控制。

Lantide Data 如何把治理嵌进分析工作流

Lantide Data 是 local-first 的 SQL 分析 IDE 与 Agent runtime。正式 Project Analysis 将治理放进 Plan → review/annotation → user-approved Execute → Report:Plan 先承载问题、分母、grain 与 checkpoints,Execute 后的正式 evidence 留在 execution progress,Report 再连回证据与 limitations。流程见 Plan → Execute → Report 指南

外部 Agent 透过本机 MCP Server 连入时,Observe/Execute/Admin 是 connection 的能力上限;Plan approval 只授权该 Plan,不会升级 connection。GUI 的 External MCP Activity 可核对 tool call、policy/review 与 artifact 变更;支援回退的文字修改仍会做 hash conflict 检查。连接、recovery 与 client compatibility 需按实际版本验证。详见 外部 Agent 整合

这些机制降低的是「能力与证据不可见」的风险,不保证模型结论正确,也不代替组织的资料分类、法遵判断与事件处理。Local-first 也不等于所有外部模型和 connector 都把资料留在装置上。

结语:用一个真实 use case 完成第一张图

选一个资料明确、会被追问、但错误影响可控的分析,在一页内填完六格:Scope、Capability、Approval、Telemetry、Recovery、Accountability。接着各设计一个拒绝测试与复原测试。当团队能证明「不该做的做不到、做过的查得到、出错时停得下来」,政策才真正变成治理。

参考资料