公众号正文需在微信内阅读，站内仅提供摘要。
在微信中打开原文（在新标签页打开）Ling-3.0 tiny & flash Base Models 正式开源
AI 导读
蚂蚁百灵开源 Ling-3.0-tiny-base 与 Ling-3.0-flash-base，并同步开放预训练、中期训练及 WSM 合并等共 6 个 checkpoints。tiny-base 总参数 7.9B、激活参数 1.3B，flash-base 总参数 124B、激活参数 5.1B，均采用统一训练方案，适合持续预训练、监督微调、偏好优化及强化学习后训练等场景。
公众号：蚂蚁百灵（Ling）
精选
68
AI 编辑部评分，满分 100Ling-3.0 tiny & flash Base Models 正式开源
蚂蚁百灵开源 Ling-3.0-tiny-base 与 Ling-3.0-flash-base，并同步开放预训练、中期训练及 WSM 合并等共 6 个 checkpoints。tiny-base 总参数 7.9B、激活参数 1.3B，flash-base 总参数 124B、激活参数 5.1B，均采用统一训练方案，适合持续预训练、监督微调、偏好优化及强化学习后训练等场景。
推荐理由
Ling-3.0 开放中间 checkpoint 和 WSM 合并策略，研究者可比较各训练阶段增益，并在自己数据上从合适节点继续预训练或后训练，而不只是拿到最终权重。
来源：公众号：蚂蚁百灵（Ling）· mp.weixin.qq.com
事件后续 · 1查看事件全部 →
蚂蚁百灵开源 Ling-3.0-tiny / flash Base 模型，开放训练过程关键节点