摘要
苹果机器学习研究团队系统对比了扩散语言模型(DLMs)与自回归语言模型(ARMs)的性能表现。ARMs 虽在多项 NLP 任务上精度领先,但因逐 token 生成的顺序依赖导致算术强度较低。DLMs 作为新兴范式展现出潜力,研究对其性能特征进行了详细刻画。
苹果机器学习研究团队系统对比了扩散语言模型(DLMs)与自回归语言模型(ARMs)的性能表现。ARMs 虽在多项 NLP 任务上精度领先,但因逐 token 生成的顺序依赖导致算术强度较低。DLMs 作为新兴范式展现出潜力,研究对其性能特征进行了详细刻画。