月之暗面开源 Kimi K3 模型，2.8 万亿参数

2026-07-27 23:14· 1小时前

跳到正文

AI 摘要

月之暗面正式开源 Kimi K3 模型，该模型拥有 2.8 万亿参数、100 万 token 上下文窗口，并原生支持视觉理解。Kimi K3 基于 KDA 混合线性注意力机制构建，结合 Stable LatentMoE 框架在 896 个专家中激活 16 个，整体扩展效率相比 K2 提升约 2.5 倍。

原文

IT之家 7 月 27 日消息，月之暗面官方今晚正式开源 Kimi K3 模型。官方发布了 Kimi K3 的模型权重、技术报告，并开源支撑 Kimi K3 模型训练的关键 Infra 技术：MoonEP、FlashKDA 和 AgentEnv。

Kimi K3 是一个 2.8 万亿参数模型，基于 KDA 混合线性注意力机制（Kimi Delta Attention）和注意力残差（Attention Residuals）技术构建，原生支持视觉理解，并拥有 100 万 token 上下文窗口。

官方表示，Kimi K3 是首个达到 2.8 万亿参数规模的开源模型，在过去 12 个月中的 9 个月里，Kimi 模型都保持着开源模型的规模上限。

Kimi 还进一步扩大了 Mixture of Experts（MoE）的稀疏度：结合 Stable LatentMoE 框架后，模型可以在 896 个专家中高效激活 16 个。再加上训练方法和数据配方的优化，这些结构性改进让 Kimi K3 相比 K2 的整体扩展效率提升约 2.5 倍，能更有效地把算力转化为能力。