超越下一个 token 预测:扩散语言模型与自回归语言模型的性能对比研究

苹果机器学习研究团队系统对比了扩散语言模型(DLMs)与自回归语言模型(ARMs)的性能表现。ARMs 虽在多项 NLP 任务上精度领先,但因逐 token 生成的顺序依赖导致算术强度较低。DLMs 作为新兴范式展现出潜力,研究对其性能特征进行了详细刻画。

摘要

苹果机器学习研究团队系统对比了扩散语言模型(DLMs)与自回归语言模型(ARMs)的性能表现。ARMs 虽在多项 NLP 任务上精度领先,但因逐 token 生成的顺序依赖导致算术强度较低。DLMs 作为新兴范式展现出潜力,研究对其性能特征进行了详细刻画。

原文链接

本站已稳定运行: 计算中... 天 | 博客: 32 篇 | 字数: 26276
使用 Hugo 构建
主题 StackJimmy 设计