Kimi K3 技术报告解读
2.8 万亿参数，靠三处架构改动把算力效率提到 2.5 倍
K3 MoE（混合专家）数量高达 896 个，每次激活 16 个，训练用掉 5122 万个沙箱…
https://best.xiaohu.ai/article/kimi-k3-tech-report/
小互@xiaohu · XAI 摘要
Kimi K3 MoE模型拥有2.8万亿参数，通过三处架构改动将算力效率提升至2.5倍。该模型包含896个专家，每次激活16个，训练使用了5122万个沙箱。
Kimi K3 技术报告解读
2.8 万亿参数，靠三处架构改动把算力效率提到 2.5 倍
K3 MoE（混合专家）数量高达 896 个，每次激活 16 个，训练用掉 5122 万个沙箱…
https://best.xiaohu.ai/article/kimi-k3-tech-report/