人工监督与干预

“人在回路中（Human-in-the-Loop）”常被单独当作一种安全特性。事实并非如此。一个人可能被过于频繁地打断，看到不适合判断的信息，被要求批准难以理解的行动，或被安排承担名义上的监督责任，却没有时间或权限真正干预。

论点

只有当明确的责任人在其判断能够改变结果的决策点上，及时获得所需信息、拥有实际权限，并能通过可执行的路径进行干预时，人工监督才真正有效。

架构必须将审批、暂停、更正、升级处理、取消与所有权转移表示为显式的运行状态与事件。产品与 UX 负责这些控制的呈现方式；治理负责组织层面的问责。本章关注使二者成为可能的运行时机制。

区分干预目的

目的	典型触发条件	所需结果
提供信息	缺少关键事实或偏好	有来源的新输入与恢复条件
消除歧义	多种解释会产生不同影响	选定的范围或约束
审批行动	具体影响超出委托权限	绑定的授权或拒绝
审查结果	质量或后果需要判断	接受、更正或退回修复
处理异常	策略、依赖或不确定性阻塞进度	处置结论与责任人
中断或取消	风险、目标或优先级变化	停止信号与在途工作的对账
接管	自动化不再是合适的执行者	确认的所有权转移与完整移交

不要使用一个通用的 needs_human 状态。运行时需要知道在等待什么、向谁等待、截止到何时，以及每种响应允许哪些转换。

按后果与不确定性布置监督

人的干预可以发生在：

执行前，以设置范围、约束与委托权限；
关键行动前，以审批其具体参数与效果；
执行期间，以更正假设、回答问题或停止工作；
异常边界处，当信心、策略或依赖超出控制范围；以及
执行后，以审阅结果、裁决纠纷并改进未来策略。

要求为每个低风险步骤审批会导致疲劳并降低审查力度。等到不可逆后果出现才干预，则会让监督流于形式。应把人的注意力集中在影响重大、不确定、不可逆、首次出现或策略明确要求判断的事项上。

NIST 的 AI RMF 操作手册建议记录人工监督的程度、人工推翻或改写系统决定的情况、投诉、响应时间、裁决、例外，以及放行或不放行（go/no-go）决策（NIST AIRC, Measure）。具体的干预阈值仍取决于应用与风险情境。

让审批成为可执行的对象

一次审批应绑定：

approver identity and authority
specific proposed action or change set
target resources and recipients
material data, amounts, and constraints
state and policy version reviewed
allowed deviations or thresholds
validity period and one-time or reusable scope
decision, time, rationale, and conditions

如果行动在审批后发生了实质性变化，则原授权不应继续适用。对于后果重大的提交，对话里一句“looks good”并不足够，除非系统能将它绑定到接受审查的具体影响和具备权限的人。

审批不是验证。一个人可以授权承担风险，但这并不能证明结果将是正确的。提交后，系统仍需结果证据。

将升级处理设计为责任转移

升级处理包应使接收者无需重建整个对话即可采取行动：

目标、请求者、范围与当前运行状态；
升级原因与紧急程度；
所需决策或行动；
权威状态与相关版本；
已收集证据及其来源；
已尝试的路径及失败原因；
已提交、待定、部分或未知的影响；
可选方案与重要权衡；
截止时间、限制以及未响应时的安全默认处理；以及
等待期间谁拥有该运行的所有权。

仅当接收者或接收工作流接受所有权时，转移才算完成。发一条进入队列的通知并不保证有监督。

中断与取消是运行时特性

授权人应能在定义好的边界上暂停或取消。智能体运行框架必须在产生新影响前检查该信号，并将其传播到子运行与可取消的工具。还必须说明在途语义：

请求是否从未发出？
该操作是否可取消？
取消是否与提交发生竞态？
外部结果是否未知？
清理或补偿是否待执行？

将“已请求取消”与“已取消且无剩余影响”分开报告。支持持久执行的系统必须持久化该信号，以免重启的工作进程继续过时的工作。

支持更正而不重写历史

当有人更正事实、目标或决策时，记录新值、来源、时间以及它取代了什么。重新评估受影响的计划步骤、上下文、审批与待执行的行动。不要编辑对话记录以抹去原始错误；它可能解释已提交的影响或评估失败。

微软的人机交互论文建议支持高效的更正与驳回，在不确定时收窄服务范围，解释行为，并提供全局控制（Amershi 等，2019）。这些是交互设计建议，但要实现它们，需要本章所述的状态、事件与控制机制。

避免自动化偏见与走过场式盖章

仅仅因为有人点了一个按钮，并不意味着人工审查就具有独立性。人们可能会过度依赖一个语气自信的建议，尤其是在检查证据需要付出较高成本时。2024 年的一项研究发现，解释并未在所有情况下都降低过度依赖，其影响会随任务与解释条件而变化（Cecil 等，2024）。更稳妥的结论不是“解释永远无用”，而是应把监督作为完整的人与系统协作过程来评估。

提供作出判断所需的信息，包括来源证据、不确定性、替代方案、策略检查与预期影响。避免超出证据的劝服性语言。对审批与撤销进行抽样，测量决策时间与错误，并测试审查者是否能发现植入的问题。

超时与缺席需要安全策略

每个等待状态都需要：

预期响应者或角色；
截止与提醒策略；
可并行继续的工作；
请求是否可委托；
超时的安全处理；以及
如何处理迟到的响应。

沉默不等于审批，除非有明确定义的低风险策略如此规定——且该策略应是可见并可评估的。高后果工作通常应等待、收窄范围或安全失败。

失效模式

将“人在回路中”当作标签

没有明确的决策、负责人、截止时间、证据或干预机制。应定义显式的状态与转换。

审批疲劳

人们会机械批准重复出现的低风险提示，因而错过异常项。应把范围明确的低风险情形自动化，并将审查集中在实质性变化与风险上。

抽象化审批

审查者看到的是“allow agent access”，而非具体影响。呈现确切的参数与后果。

以通知代替移交

发出消息，但无人接受所有权。跟踪确认、责任与超时。

只改变 UI 的取消

工作进程与子智能体仍在继续提交行动。持久化并传播取消，然后对在途影响进行对账。

以解释为劝服

生成的理由在没有底层证据可见的情况下却增强了信心。展示证据与边界；测试审查者的真实决策。

恢复时丢失了人工更正

暂停的运行重新加载旧检查点并重复已被取代的工作。为状态做版本化，并使受影响的计划与审批失效。

本手册建议

对每个干预点，记录：

字段	问题
目的	信息、歧义、审批、审查、异常、取消还是接管？
触发条件	哪个状态、风险、不确定性或策略条件会激活它？
角色	哪个明确的角色具备知识、时间与权限？
证据	该角色负责任地决策需要看到什么？
决策	接受哪些结构化响应？
绑定	响应授权了哪些行动、状态、范围与时间？
超时	未响应时发生何种安全转换？
移交	责任何时、如何转移？
记录	审计与评估保留哪些内容？

清单

参考文献及其用途

Amershi et al., “Guidelines for Human-AI Interaction” — 经同行评审且实证验证的人机交互论文，支持更正、驳回、解释、谨慎适配与全局控制。
NIST AI RMF Playbook, Measure 与 NIST AI 600-1 — NIST 风险管理材料，用于支持记录监督、覆盖、例外、问责、测试与事件响应。
Cecil et al., “The effects of AI explanations on human decision-making” — 同行评审证据，用于提醒解释与人工审查并不能自动防止过度依赖。
OpenAI, “A practical guide to building agents” — OpenAI 面向产品与工程的智能体构建文章，用于说明实际系统中的干预触发点，例如重复失败与高风险行动。