DeepSeek-V4：迈向高效百万Token上下文智能

---

技术报告👁️

引言

我们推出了DeepSeek-V4系列的预览版，包括两个强大的混合专家（MoE）语言模型——DeepSeek-V4-Pro（1.6T参数，其中49B激活）和DeepSeek-V4-Flash（284B参数，其中13B激活）——两者均支持百万token的上下文长度。

DeepSeek-V4系列在架构和优化方面引入了多项关键升级：

1. 混合注意力架构：我们设计了一种混合注意力机制，结合了压缩稀疏注意力（CSA）和重度压缩注意力（HCA），大幅提升长上下文效率。在100万token的上下文设置下，DeepSeek-V4-Pro相比DeepSeek-V3.2仅需27%的单token推理FLOPs和10%的KV缓存。
2. 流形约束超连接（mHC）：我们引入了mHC来增强传统的残差连接，在保持模型表达能力的同时，提升跨层信号传播的稳定性。
3. Muon优化器：我们采用Muon优化器以实现更快的收敛速度和更高的训练稳定性。

我们在超过32T多样且高质量的token上预训练了两个模型，随后进行全面的后训练流程。后训练采用两阶段范式：首先通过SFT和基于GRPO的RL独立培养领域专家，然后通过在线策略蒸馏进行统一模型整合，将不同领域的专长融合到单一模型中。

DeepSeek-V4-Pro-Max（DeepSeek-V4-Pro的最大推理努力模式）显著提升了开源模型的知识能力，牢固确立了其作为当前最佳开源模型的地位。它在编程基准测试中达到顶级性能，并在推理和智能体任务上显著缩小了与领先闭源模型的差距。同时，DeepSeek-V4-Flash-Max在获得更大的推理预算时，推理能力与Pro版本相当，但由于其参数规模较小，在纯知识任务和最复杂的智能体工作流上自然略逊一筹。

模型下载

*FP4 + FP8 混合：MoE 专家参数使用 FP4 精度；其他大部分参数使用 FP8。

评测结果

基座模型

指令模型

DeepSeek-V4-Pro 和 DeepSeek-V4-Flash 均支持三种推理努力模式：

DeepSeek-V4-Pro-Max 与前沿模型对比

Comparison across Modes

Chat Template

本次发布不包含 Jinja 格式的聊天模板。我们提供了专用的编码文件夹，内含 Python 脚本和测试用例，演示如何将以 OpenAI 兼容格式编码的消息转换为模型的输入字符串，以及如何解析模型的文本输出。完整文档请参阅编码文件夹。

简单示例如下：

from encoding_dsv4 import encode_messages, parse_message_from_completion_text

messages = [
    {"role": "user", "content": "hello"},
    {"role": "assistant", "content": "Hello! I am DeepSeek.", "reasoning_content": "thinking..."},
    {"role": "user", "content": "1+1=?"}
]


prompt = encode_messages(messages, thinking_mode="thinking")


import transformers
tokenizer = transformers.AutoTokenizer.from_pretrained("deepseek-ai/DeepSeek-V4-Pro")
tokens = tokenizer.encode(prompt)

如何在本地运行

关于在本地运行 DeepSeek-V4 的详细说明，包括模型权重转换和交互式聊天演示，请参阅推理文件夹。

本地部署时，建议将采样参数设置为 temperature = 1.0、top_p = 1.0。对于 Think Max 推理模式，建议将上下文窗口设置为至少 384K tokens。

许可证

本仓库及模型权重采用 MIT 许可证授权。

引用

@misc{deepseekai2026deepseekv4,
      title={DeepSeek-V4: Towards Highly Efficient Million-Token Context Intelligence},
      author={DeepSeek-AI},
      year={2026},
}

联系方式

如有任何问题，请提交 issue 或联系 service@deepseek.com。

4 项 • 更新于 4 月 24 日 • 683