摘要
Anthropic 副首席信息安全官 Jason Clinton 分享了其团队在采用智能体 AI 过程中的经验教训，并提出了一套用于安全构建和部署智能体的风险评估框架。该框架通过四个核心问题（摄入的不可信内容、可执行的操作、失控时的爆炸半径、可观测性）来评估风险，并强调“最小代理权限”原则。Anthropic 的默认策略是管理员控制的分阶段推出，并指出与意图偏离的智能体在行为上无异于内部攻击。
Anthropic 副首席信息安全官 Jason Clinton 分享了其团队在采用智能体 AI 过程中的经验教训，并提出了一套用于安全构建和部署智能体的风险评估框架。该框架通过四个核心问题（摄入的不可信内容、可执行的操作、失控时的爆炸半径、可观测性）来评估风险，并强调“最小代理权限”原则。Anthropic 的默认策略是管理员控制的分阶段推出，并指出与意图偏离的智能体在行为上无异于内部攻击。