摘要
Apple 机器学习研究团队提出 SRLM 框架,利用自一致性、推理链长度和口头置信度三种内在信号,让模型在推理时评估候选长上下文交互程序。实验表明,在相同时间预算下,SRLM 较传统递归语言模型(RLM)最高提升 22%。分析发现,递归本身并非 RLM 性能关键,简单的自反思程序搜索无需显式递归即可匹配或超越 RLM;在模型上下文窗口内,RLM 反而降低性能,而 SRLM 在短上下文和长上下文中均实现稳定增益。
Apple 机器学习研究团队提出 SRLM 框架,利用自一致性、推理链长度和口头置信度三种内在信号,让模型在推理时评估候选长上下文交互程序。实验表明,在相同时间预算下,SRLM 较传统递归语言模型(RLM)最高提升 22%。分析发现,递归本身并非 RLM 性能关键,简单的自反思程序搜索无需显式递归即可匹配或超越 RLM;在模型上下文窗口内,RLM 反而降低性能,而 SRLM 在短上下文和长上下文中均实现稳定增益。