# 月之暗面开源K2.5三大基础组件：MuonClip、KDA与Attention Residue

- 来源：凡人小北 (@frxiaobei)
- 发布时间：2026-07-19 14:39
- AIHOT 分数：31
- AIHOT 链接：https://aihot.virxact.com/items/cmrrffg0u00xkbiki7wcndxxi
- 原文链接：https://x.com/frxiaobei/status/2078731487789326635

## AI 摘要

月之暗面创始人杨植麟在GTC 2026披露K2.5技术路线，用MuonClip替代Adam优化器，使同等数据训练效果接近数据量翻倍，并靠QK-Clip稳定训练超15万亿Token。同时开源Kimi Linear（KDA）线性注意力机制和Attention Residue替代残差连接，Agent Swarm已支持最多300个Agent并行工作。

## 正文

应用没有护城河
⬇
Agent 没有护城河
⬇
大模型没有护城河

### 引用推文

> 宝玉：杨植麟在 GTC 2026 的一次演讲"How We Scaled Kimi K2.5":月之暗面想把 AI 训练中三个沿用了近十年的基础组件,重新做一遍。优化器 Adam(2014 年)、注意力机制(2017 年)、残差连接(2015 年),三个 Transformer 时代的地基组件,月之暗面各给了一个替代方案,而...