蚂蚁百灵发布 Ling-3.1-flash,面向真实世界长任务升级

蚂蚁百灵推出 Ling-3.1-flash,总参数约 560B,每个 Token 激活约 25B,上下文窗口上限 1M,延续混合线性架构并提高线性 Attention 层比例(7 层 KDA 配 1 层 Gated MLA,512 个路由专家选 8 个加 1 个共享专家)。

摘要

蚂蚁百灵推出 Ling-3.1-flash,总参数约 560B,每个 Token 激活约 25B,上下文窗口上限 1M,延续混合线性架构并提高线性 Attention 层比例(7 层 KDA 配 1 层 Gated MLA,512 个路由专家选 8 个加 1 个共享专家)。

原文链接

本站已稳定运行: 计算中... 天 | 博客: 33 篇 | 字数: 26248 字
使用 Hugo 构建
主题 Stack 由 Jimmy 设计