摘要

现代大语言模型通过长思维链实现强大推理能力，但推理计算成本高昂。投机解码（Speculative Decoding）用快速但不精确的草稿模型提议 token，再由更强的目标模型并行验证，以加速推理。然而，语义等价步骤中的 token 不匹配会导致不必要的拒绝，传统 token 级投机解码因此受限。

原文链接

• Apple Machine Learning Research（RSS）
• AI HOT 详情页