公众号正文需在微信内阅读,站内仅提供摘要。
在微信中打开原文(在新标签页打开)蚂蚁百灵发布 Ling & Ring 2.6 技术报告
AI 导读
蚂蚁百灵发布 Ling & Ring 2.6 技术报告,公开 2.6 系列在架构、预训练、后训练及 Agent 强化学习等细节。该系列采用 Lightning Attention 与 MLA 以 7:1 比例结合的混合线性注意力架构,预训练处理约 9.6T tokens,上下文扩展至 256K。
公众号:蚂蚁百灵(Ling)
精选
77
AI 编辑部评分,满分 100蚂蚁百灵发布 Ling & Ring 2.6 技术报告
蚂蚁百灵发布 Ling & Ring 2.6 技术报告,公开 2.6 系列在架构、预训练、后训练及 Agent 强化学习等细节。该系列采用 Lightning Attention 与 MLA 以 7:1 比例结合的混合线性注意力架构,预训练处理约 9.6T tokens,上下文扩展至 256K。
推荐理由
报告系统公开了万亿参数模型在架构迁移、Agent RL和推理基础设施上的完整技术链路,为设计高性能Agent系统提供了可复现的工程方案。
来源:公众号:蚂蚁百灵(Ling)· mp.weixin.qq.com