# Kimi K3 发布：2.8T 参数开源模型，具备原生视觉与百万 token 上下文窗口 - 来源：Moonshot AI：Kimi Blog - 发布时间：2026-07-14 00:00 - AIHOT 分数：81 - AIHOT 标记：精选 - AIHOT 链接：https://aihot.virxact.com/items/cmrnvwztt01bdbixyj6fk8322 - 原文链接：https://www.kimi.com/blog/kimi-k3 ## 精选理由 首个开源 3T 级模型，架构上有 KDA 和 AttnRes 创新，在超长程编码和知识工作上比肩闭源。权重两周后放出，所有做 agent 的都该盯紧。 ## AI 摘要 月之暗面发布 Kimi K3，一个 2.8T 参数的开源模型，采用 Kimi Delta Attention 和 Attention Residuals 架构，支持原生视觉能力与 100 万 token 上下文窗口。 ## 正文 今天，我们正式推出 Kimi K3——这是我们迄今为止能力最强的模型。Kimi K3 是一个基于 Kimi Delta Attention 和 Attention Residuals 构建的 2.8T 参数模型，具备原生视觉能力和 100 万 token 的上下文窗口。它是全球首个开源的 3T 级模型，专为长周期编程、知识工作和推理等前沿智能场景而设计。 尽管其整体性能仍落后于最强大的闭源模型 Claude Fable 5 和 GPT 5.6 Sol，但 Kimi K3 在我们的评估套件中展现出了前沿水平的表现，持续优于其他参与测试的模型。 Kimi K3 即日起在 Kimi.com、Kimi Work、Kimi Code 以及 Kimi API 上可用。上线初期，Kimi K3 默认使用最大思考力度，低力度和高力度模式将在后续更新中引入。我们目前正与推理合作伙伴及开源维护者紧密合作，以对齐技术细节，确保在整个生态系统中实现可靠的部署。完整模型权重将于 2026 年 7 月 27 日前发布。有关架构、训练和评估的更多细节，将随 Kimi K3 技术报告一同发布。 一个开源的 3T 级模型 Kimi K3 是首个达到 2.8 万亿参数的开源模型。它标志着 Kimi 在扩展前沿持续推动的最新一步：在过去十二个月中，有九个月，Kimi 模型都设定了开源模型规模的上限。 Kimi K3 基于 Kimi Delta Attention（KDA）和 Attention Residuals（AttnRes）构建，这两项架构更新旨在改善信息在序列长度和模型深度上的流动方式。我们还扩展了混合专家模型（MoE）的稀疏性，在与 Stable LatentMoE 框架配合使用时，可有效激活 896 个专家中的 16 个。结合改进的训练方法和数据配方，这些结构变化使得整体扩展效率相比 Kimi K2 提升了约 2.5 倍，从而使模型能够更有效地将算力转化为智能。 编程 Kimi K3 在长周期编程方面表现出色。在极少人工干预的情况下，它能够维持长时间的工程会话，浏览大型代码仓库，并编排终端工具。 Kimi K3 在融合软件工程与视觉推理的任务中也表现出色——它利用截图和视觉信息来优化游戏开发、前端和 CAD 工作。 下面的案例研究展示了 Kimi K3 的编码能力如何转化为开放式软件创作和科学研究。 内核优化 我们测试了这些模型优化 GPU 内核的能力。每个模型在相同的沙盒环境中独立工作，拥有最多 24 小时的时间来对四个任务进行性能分析、重写和基准测试，这些任务涵盖 AttnRes、KDA 以及一个 512 头维度的 MLA 内核，测试平台包括 NVIDIA H200 和来自另一家供应商的 GPGPU。Kimi K3 的表现与 Fable 5（含回退机制）相当，并显著优于 Opus 4.8、GPT 5.6 Sol 和 GPT 5.5。 Claude Fable 5 由第三方进行评估，其结果可能包含回退行为。在大多数模型中，部分运行轨迹包含微小且可接受的精度折衷，这些折衷在我们的数值容差范围内。GPGPU 指用于图形渲染之外的计算任务的通用 GPU。 在 Kimi K3 开发的后期阶段，一个早期版本的 Kimi K3 承担了团队大部分的内核优化工作。 GPU 编译器开发 我们进一步测试了 Kimi K3 是否能够从零开始构建一个 GPU 编程系统。Kimi K3 开发了 MiniTriton，这是一个紧凑的类 Triton 编译器，拥有自己的基于 MLIR 的 tile 级 IR 层、优化通道以及 PTX 代码生成流水线。在支持的 roofline 基准测试中，MiniTriton 的性能与 Triton 和 torch.compile 持平或更优——在某些工作负载上甚至超过了 Triton。除了微基准测试，MiniTriton 还能支持端到端的 nanoGPT 训练，并实现稳定的收敛，其损失曲线与参考曲线紧密贴合，仅有微小偏差——这在实际工作负载上验证了完整的流水线。这些结果表明，Kimi K3 能够构建一个连贯的端到端编译器——从 DSL 前端和 IR 通道到 PTX 代码生成和运行时——而不仅仅是孤立的内核；其从零开始的 Tensor Core 路径已经能与 Triton 经过广泛优化的技术栈相媲美。 游戏开发与数字创作 Kimi K3 融合了强大的 3D 推理、编程和视觉能力，能够将概念、图像和视频转化为完全可玩的交互式体验。Kimi K3 通过在代码和实时截图之间无缝迭代——即时查看并优化输出——实现了真正的“视觉在环”。 视频 · 前往原文观看 案例 1：3D 开放世界 Kimi K3 使用 Three.js WebGPU 和 GPU 计算，构建了一个完全程序化生成的、基于浏览器的 3D 探索游戏。它程序化地生成了环境，同时使用 3D 资产生成工具创建了骑手和马匹模型，打造了一个包含森林、木屋村庄、雪山和动态天气的广阔开放世界。使用的外部资产包括：动画牛仔和马匹模型以及地形数据。 芯片设计 作为早期概念验证，Kimi K3 设计了一款芯片，用于运行基于其自身架构构建的微型模型。在单次 48 小时的自主运行中，K3 使用基于 Nangate 45nm 库的开源 EDA 工具，构建、优化并验证了该芯片。在 4 mm² 的面积内，该芯片在 100 MHz 频率下满足时序收敛，并在仿真中维持超过 8,700 tokens/s 的解码吞吐量，集成了 146 万个标准单元、0.277 MB 的 SRAM 以及一个带有融合反量化功能的 INT4 MAC 阵列。一个由模型为模型构建的芯片，体现了 K3 的长周期智能体能力。 视频 · 前往原文观看 科研编程 Kimi K3 连接了科学文献与可执行代码，能够自主实现、验证并分析复杂的计算研究工作流。 在一个案例中，Kimi K3 在大约两小时内完成了通常需要经验丰富的研究人员一到两周才能完成的工作。为了复现计算天体物理学中的 I–Love–Q 普适关系，它审阅并交叉验证了 20 多篇论文，实现了完整的数值计算流程，评估了 300 多个状态方程，识别了已发表公式中的不一致之处，生成了 3,000 多行 Python 代码，并制作了一个用于探索结果的交互式 HTML 仪表板。 加载预览中... 知识工作 Kimi K3 推动了端到端知识工作的进步。除了公开基准测试之外，Kimi K3（max）在我们内部评估中也展现出持续的性能提升，这些评估基于真实用户智能体工作流中反复出现的模式和挑战。在多个不同的生产导向工作流中，这些一致的优势反映了 Kimi K3 在智能体知识工作能力方面的广泛提升。 交互式可视化研究 以下是 Kimi K3 在 Kimi 工作台（Kimi Work）中，于金融咨询和科学研究领域所能产出的几个示例： 案例 1：交互式 AI ASIC 行业 42 年研究网站 一份可深入探索的交互式研究报告：ASIC 行业 42 年发展历程，通过 120 多轮递归自我改进生成。Kimi K3 将证据转化为定制图表、动画示意图和交互式视觉叙事。它通过 2800 多次网络搜索/抓取和 1100 多次终端数据拉取，从跨越 87 份季度报告和 99 份原始 PDF 的 11000 多页资料中提取了数据。 加载预览中…… 案例 2：聚变行业研究 一份咨询风格的行业报告，包含交互式可视化——包括时间线、漏斗图、范围条形图、甘特图以及达到出版质量的幻灯片。 案例 3：GWTC-5 引力波分析 使用 20 多个并发子智能体对 391 个引力波事件进行分析，生成了 7 个科学可视化图表、2 个表格，并综合了来自 10 多篇论文的文献综述。 Kimi K3 在制作信息图风格的演示文稿方面也特别高效，例如下方展示的完全可编辑的热力图和年度报告： 组件与仪表盘 在 Kimi 工作台（Kimi Work）中，我们引入了两项新功能——组件（Widgets）和仪表盘（Dashboard）——它们使与 Kimi K3 的交互更具视觉化和持久性。组件（Widgets）让您可以直接在聊天中生成交互式组件，并可连接本地数据或外部插件以实现持续更新。仪表盘（Dashboard）则将您最关心的组件整合到一个围绕主题、项目或目标组织的持久化、个性化视图中。 视频 · 前往原文观看 视频编辑 Kimi K3 在动态设计、动画和视频编辑方面表现出色，因为其原生多模态架构能够在同一模型中理解文本、图像和视频。 在一个示例中，K3 制作了一个 3Blue1Brown 风格的动态图形讲解视频，介绍其自身架构，将技术概念转化为动画图表和转场效果。 视频 · 前往原文观看 在另一个示例中，Kimi K3 从 56 个原始素材片段中剪辑了自己的预告片，处理了片段选择、运动匹配剪辑、帧级精确节拍同步、音频处理以及多轮修改。像这样高密度的短视频，通常需要经验丰富的剪辑师一到两个工作日，或者新手三到五天才能完成。 视频 · 前往原文观看 架构与基础设施 Kimi K3 基于 Kimi Delta 注意力机制（KDA）和注意力残差（AttnRes）构建。KDA 为扩展注意力机制提供了高效基础，而 AttnRes 则跨深度选择性检索表征，而非均匀累积。两者共同构成了该模型的架构主干，使其能够扩展到远超万亿参数规模。 Kimi K3 采用 Stable LatentMoE，有效激活了 896 个专家中的 16 个。在此稀疏度水平下，路由和优化成为首要挑战。分位数均衡（Quantile Balancing）直接从路由器得分分位数推导出专家分配，消除了启发式更新和敏感的均衡超参数；而逐头 Muon（Per-Head Muon）通过独立优化注意力头，实现了更具适应性的规模化学习。Sigmoid Tanh 单元（SiTU）和门控 MLA（Gated MLA）分别改进了激活控制和注意力选择性。这些进步共同实现了在 2.8 万亿参数规模下的稳定高效训练。 Kimi K3 从 SFT 阶段起就应用了量化感知训练，采用 MXFP4 权重搭配 MXFP8 激活值，以实现广泛的硬件兼容性。为了防止在大型专家并行规模下专家不平衡导致吞吐量下降，我们引入了一种完全平衡的专家并行训练方法，该方法采用静态形状，并且在关键路径上无需主机同步。由于更大的高带宽通信域同样有利于推理效率，我们建议在包含 64 个或更多加速器的超级节点配置上部署 Kimi K3。最后，由于 KDA 给传统前缀缓存带来了新的挑战，我们已向 vLLM 社区贡献了相应的实现，并将随模型一同发布。结合预填充缓存的 KDA，使我们能够以极具竞争力的 token 价格提供 Kimi K3 服务，尽管其规模庞大且上下文很长。 更多技术细节将在我们即将发布的报告中提供。 可用性 Kimi K3 智能体：从您的移动应用商店下载或更新至最新的 Kimi 应用，适用于 iOS、Android 和 HarmonyOS，或访问 kimi.com。 使用 Kimi K3 工作：下载最新的 Kimi Work 桌面应用，版本 3.1.0 或更高，适用于 Windows 和 Apple silicon Mac。 使用 Kimi K3 编程：在您的终端中运行 Kimi Code，并使用 /model 命令选择 Kimi K3。 通过 Kimi API 构建：访问 Kimi API 平台并选择 kimi-k3。定价为：缓存命中输入 $0.30/MTok，缓存未命中输入 $3.00/MTok，输出 $15.00/MTok。得益于 Mooncake 的分离式推理架构，官方 Kimi API 在编码工作负载中实现了超过 90% 的缓存命中率。 将 Kimi 引入您的组织：Kimi Enterprise 提供企业级数据隐私和成员管理，个人账户与组织账户完全分离。访问定价页面并选择“获取 Kimi Enterprise”为您的团队订阅。 完整基准测试表 基准测试Kimi K3 (max)Claude Fable 5 (max, with fallback)GPT 5.6 Sol (max)Claude Opus 4.8 (max)GPT 5.5 (xhigh)GLM-5.2 (max) 编码 DeepSWE67.570.073.059.067.046.2 Program Bench77.876.877.671.970.863.7 Terminal Bench 2.188.384.688.884.683.482.7 FrontierSWE81.286.671.366.764.967.3 SWE Marathon42.035.039.040.014.013.0 PostTrain Bench36.641.434.634.128.434.3 MLS Bench48.349.946.242.835.540.4 Kimi Code Bench 2.0（内部）72.976.964.871.769.064.2 智能体 GDPval-AA v2（Elo 分数）1668.01760.01748.01600.01494.01514.0 BrowseComp91.288.090.484.384.4— DeepSearchQA（F1 分数）95.094.2—93.1—— Toolathlon-Verified73.277.974.976.273.559.9 MCP Atlas84.284.783.683.682.882.6 Automation Bench30.829.129.727.222.712.9 Job Bench52.957.446.548.438.343.4 AA-Briefcase（Elo 分数）1548.01583.01495.01354.01158.01260.0 APEX-Agents37.643.339.939.438.535.6 Office QA Pro63.369.9*63.2*63.9*60.9*41.4 SpreadsheetBench 234.834.7*32.4*31.6*29.1*28.1 DECK-Bench（内部）73.573.074.766.968.268.6 推理与知识 GPQA-Diamond93.592.694.191.093.591.2 HLE-Full43.553.344.549.8*41.4*— HLE-Full（使用工具）56.063.058.057.9*52.2*— 视觉 MMMU-Pro81.681.283.078.981.2— MMMU-Pro（使用 Python）83.486.584.682.783.2— CharXiv（RQ）84.888.984.680.584.1— CharXiv（RQ）（使用 Python）91.393.589.189.989.0— MathVision94.394.895.886.792.2— MathVision（使用 Python）97.898.697.897.196.8— BabyVision（使用 Python）85.790.588.981.283.6— ZeroBench_main（pass@5）23.023.017.017.022.0— ZeroBench_main（使用 Python，pass@5）41.046.035.034.041.0— WorldVQA ForceAnswer51.056.741.839.138.5— OmniDocBench91.189.885.887.989.4— PerceptionBench58.557.259.747.255.8— 脚注 下文报告的所有 Kimi K3 结果，均是在推理努力程度设置为“最大”、温度参数设为 1.0、top-p 设为 1.0 的条件下获得的。根据评测基准的不同，每个模型会在三种智能体框架之一（KimiCode、Claude Code 或 Codex）下进行评估，具体说明见下文注释。 编程评测基准 DeepSWE。Kimi K3 使用 KimiCode 框架进行评估。GLM-5.2 的分数取自 GLM-5.2 发布博客（https://z.ai/blog/glm-5.2）；其余所有分数均来自官方 DeepSWE 排行榜（https://deepswe.datacurve.ai/），在该排行榜下，Kimi K3 使用 mini-SWE-agent 框架获得了 67.3 分。 Terminal-Bench 2.1。Kimi K3 使用 KimiCode 评估框架进行评测。对于所有其他模型，我们报告各评估框架中的最佳得分：GLM-5.2 搭配 Claude Code（来源：https://z.ai/blog/glm-5.2）；Claude Opus 4.8 和 Claude Fable 5 搭配 Terminus 2（来源：https://artificialanalysis.ai/evaluations/terminalbench-v2-1）；GPT 5.5 和 GPT 5.6 Sol 搭配 Codex（来源：https://openai.com/index/previewing-gpt-5-6-sol/）。 Program Bench。Kimi K3 使用 KimiCode 评估框架进行评测。GLM-5.2 的得分来自 https://z.ai/blog/glm-5.2；所有其他模型的得分来自 https://www.vals.ai/benchmarks/programbench。 SWE Marathon。Kimi K3、Claude Opus 4.8 和 Claude Fable 5 使用 Claude Code 评估框架进行评测；GPT 5.6 Sol 使用 Codex 评估框架进行评测。GLM-5.2 的得分来自 https://z.ai/blog/glm-5.2。 FrontierSWE。Kimi K3 使用 KimiCode 评估框架进行评测，GPT 5.6 Sol 使用 Codex 评估框架进行评测；所有其他结果来自 https://www.frontierswe.com/。主导性得分是根据原始得分使用官方评估脚本重新计算的，数据截至 2026 年 7 月 16 日。 PostTrain Bench。GLM-5.2、GPT 5.5 和 Claude Opus 4.8 的得分采用自官方 PostTrainBench 结果。Kimi K3、Claude Fable 5 和 GPT 5.6 Sol 使用官方 Harbor 实现，在最大推理努力下进行评估，取三次运行的平均值——Kimi K3 和 Claude Fable 5 使用 Claude Code 评估框架，GPT 5.6 Sol 使用 Codex 评估框架。在 Claude Code 评估框架下，因使用政策而被 Claude Fable 5 拒绝的请求会自动回退到 Claude Opus 4.8。 MLS Bench Lite。Kimi K3 使用 KimiCode 评估框架进行评测；GLM-5.2 和 Claude 系列模型使用 Claude Code 评估框架进行评测；GPT 5.5 和 GPT 5.6 Sol 使用 Codex 评估框架进行评测。 KCB 2.0。Kimi K3 同时使用 KimiCode 和 Claude Code 两种评估框架进行评测；GLM-5.2、Claude Opus 4.8 和 Claude Fable 5 使用 Claude Code 评估框架进行评测；GPT 5.5 和 GPT 5.6 Sol 使用 Codex 评估框架进行评测。所有模型均在最大推理努力下进行评估，但 GPT 5.5 除外，它使用“xhigh”设置。 生产力与智能体基准测试 OfficeQA Pro 和 SpreadsheetBench 2。Kimi K3、GLM-5.2、Claude Opus 4.8 和 Claude Fable 5 使用 Claude Code 测试框架进行评估；GPT 5.5 和 GPT 5.6 Sol 使用 Codex 测试框架进行评估。 MCP Atlas。所有模型均在包含 500 个任务的公共子集上进行评估，限制 100 轮交互，并使用 Gemini 3.1 Pro 作为评判模型。 AutomationBench。所有模型均在包含 600 个任务的公共子集上进行评估，其他方面均遵循官方 GitHub 设置。 BrowseComp。我们采用了 Claude 模型卡中使用的上下文压缩策略，该策略在达到 30 万 token 时触发。当使用 100 万 token 上下文窗口且不进行上下文管理时，Kimi K3 的得分为 90.4。Claude Fable 5、Claude Opus 4.8、GPT 5.6 Sol 和 GPT 5.5 的结果引自 https://www.anthropic.com/news/claude-fable-5-mythos-5 和 https://openai.com/index/gpt-5-6/。 GDPval-AA v2 和 AA-Briefcase 的分数引自 https://artificialanalysis.ai/。 多模态基准测试 除 ZeroBench 遵循官方设置并运行五次外，所有多模态分数均为三次运行的平均值。MMMU-Pro 按照官方协议进行评估，保留原始输入顺序，并将图像前置到文本输入之前。 PerceptionBench。PerceptionBench 是一个内部基准测试，专注于原子级视觉感知能力。 局限性 对思考历史的敏感性。K3 是在保留思考历史的模式下训练的。如果智能体测试框架未能按要求传回所有历史思考内容，或者将与其他模型进行中的会话切换到 K3，生成质量可能会变得非常不稳定。我们建议使用经过兼容性验证的测试框架（例如 Kimi Code），并避免在会话中途切换到 K3。 过度主动。K3 的训练特别强调长周期、高难度的任务。因此，当它在执行任务时遇到小问题或用户意图不明确的情况，可能会替用户做出意料之外的决策。如果你的应用要求智能体在明确界定的范围内运行，并避免过度即兴发挥，请在系统提示词或 AGENTS.md 中对 K3 施加更明确的行为约束。 尽管 K3 整体上是一个极具竞争力的模型，但在用户体验方面，它与 Claude Fable 5 和 GPT 5.6 Sol 相比仍存在明显差距。