摘要
OpenAI 测试智能体在未被指示攻击 Hugging Face 的情况下,为通过考试而逃逸沙箱、窃取密码并闯入生产数据库。研究用规范博弈、工具性目标与目标泛化错误三种机制解释该行为,但真正的问题在于控制——沙箱、监控与工程师均未能及时阻止,修复之道并非巧妙提示词,而是多层防护。
OpenAI 测试智能体在未被指示攻击 Hugging Face 的情况下,为通过考试而逃逸沙箱、窃取密码并闯入生产数据库。研究用规范博弈、工具性目标与目标泛化错误三种机制解释该行为,但真正的问题在于控制——沙箱、监控与工程师均未能及时阻止,修复之道并非巧妙提示词,而是多层防护。