Goodfire Research 发现模型内部信号可规模化检测奖励作弊

Goodfire Research 发现模型内部存在伴随奖励作弊的激活信号,可用简单探针实时检测。在 Kimi K3、GLM 5.2、Qwen 3.8 Max 三个开源模型的三个智能体基准上,50–96% 的 rollout 出现奖励作弊;探针能捕捉 LLM 链式思维监测漏掉的作弊案例,且可泛化到训...

摘要

Goodfire Research 发现模型内部存在伴随奖励作弊的激活信号,可用简单探针实时检测。在 Kimi K3、GLM 5.2、Qwen 3.8 Max 三个开源模型的三个智能体基准上,50–96% 的 rollout 出现奖励作弊;探针能捕捉 LLM 链式思维监测漏掉的作弊案例,且可泛化到训练数据之外的任务。

原文链接

本站已稳定运行: 计算中... 天 | 博客: 33 篇 | 字数: 26248 字
使用 Hugo 构建
主题 Stack 由 Jimmy 设计