摘要
Apple 与特拉维夫大学联合提出 CalibAtt,一种无需训练的校准稀疏注意力方法,通过离线识别 token 间可跳过的低分连接并编译为优化操作,在推理时跳过无关计算。在 Wan 2.1 14B、Mochi 1 及少步蒸馏模型上,CalibAtt 实现最高 1.58 倍端到端加速,在保持视频质量和文本-视频对齐的同时优于现有免训练方法。
Apple 与特拉维夫大学联合提出 CalibAtt,一种无需训练的校准稀疏注意力方法,通过离线识别 token 间可跳过的低分连接并编译为优化操作,在推理时跳过无关计算。在 Wan 2.1 14B、Mochi 1 及少步蒸馏模型上,CalibAtt 实现最高 1.58 倍端到端加速,在保持视频质量和文本-视频对齐的同时优于现有免训练方法。