腾讯发布 Hy3：295B 参数稀疏 MoE 模型，21B 激活参数，支持 256K 上下文
阅读原文· marktechpost.com腾讯 Hy 团队发布 Hy3，一款 295B 总参数、21B 激活参数的稀疏 MoE 模型，采用 192 专家、top-8 路由架构，支持 256K 上下文长度。包含多 token 预测层（MTP），可通过 vLLM / SGLang 的推测解码加速推理，并提供 FP8 量化版。基准测试：SWE-Bench Verified 78.0、GPQA Diamond 90.4、USAMO 2026 72.0、IMOAnswerBench 90.0；盲测中以 2.67/4 分领先 GLM-5.1（2.51）。在工具调用、抗幻觉、多轮追踪三项可靠性指标上分别实现 12.5%→5.4%、25.4%→12.7%、17.4%→7.9% 的改进。支持 OpenAI 兼容 API 及 reasoning_effort 控制推理深度。已开源（Apache 2.0），OpenRouter 提供免费路由（免费期至 2026 年 7 月 21 日）。
腾讯 Hy 团队发布了 Hy3。Hy3 是一个 295B 参数的混合专家（MoE）模型。每个 token 仅激活 21B 参数。权重采用 Apache License 2.0 协议发布。Hy3 面向推理、智能体工作流和长上下文任务。
Hy3 是什么？
Hy3 的架构包含一个稀疏 MoE，拥有 192 个专家和 top-8 路由。每个 token 只激活 8 个专家，因此计算量保持在较低水平。
该模型还使用了一个多 token 预测（MTP）层。MTP 同时预测多个 token，以实现更快的解码。vLLM 和 SGLang 都通过推测解码支持这一功能。
| 属性 | 值 |
|---|---|
| 架构 | 混合专家（MoE） |
| 总参数 | 295B |
| 激活参数 | 21B |
| MTP 层参数 | 3.8B |
| 层数（不含 MTP） | 80 |
| MTP 层数 | 1 |
| 注意力头数 | 64（GQA，8 个 KV 头，头维度 128） |
| 隐藏层大小 | 4096 |
| 中间层大小 | 13312 |
| 上下文长度 | 256K |
| 词汇表大小 | 120832 |
| 专家数 | 192 个专家，top-8 激活 |
| 支持的精度 | BF16 |
还发布了独立的 Hy3-FP8 检查点。FP8 降低了内存占用，从而实现更经济的部署。
基准测试与性能
研究团队发布了涵盖编程、智能体和 STEM 领域的分数。在编程方面，Hy3 在 SWE-Bench Verified 上达到 78.0。在 SWE-Bench Pro 上达到 57.9，在 SWE-Bench Multilingual 上达到 75.8。Terminal-Bench 2.1 为 71.7，DeepSWE 为 28.0。
在 STEM 和推理方面，分数更高。Hy3 在 GPQA Diamond 上达到 90.4，在 USAMO 2026 上达到 72.0。IMOAnswerBench 达到 90.0，HLE（使用工具）达到 53.2。
研究团队与 270 位专家进行了一项盲测。该测试收集了 312 个真实工作流的有效对比结果。Hy3 获得 2.67 分（满分 4 分），领先于 GLM-5.1 的 2.51 分。优势在前端开发、CI/CD、数据与存储方面最为明显。
可靠性与生产行为
研究团队在此次发布中重点关注了生产可靠性。三种故障模式得到了直接关注，并附有内部数据支持。
- 工具调用与输出格式：团队修复了破坏智能体的基线稳定性问题。导致无限循环的无效调用数量下降。Hy3 还能在不同智能体框架间泛化。在 SWE-Bench Verified 上，CodeBuddy、Cline 和 KiloCode 之间的准确率方差保持在 4% 以内。
- 世界知识与反幻觉：目标行为很简单——有依据时作答，证据缺失时加以标注。在内部评估中，模型幻觉率从 12.5% 降至 5.4%，常识性错误率从 25.4% 降至 12.7%。
- 多轮意图追踪：联合监督微调与强化学习改进了指代与约束追踪能力。内部问题率从 17.4% 降至 7.9%，在 MRCR 长对话基准上的得分从 42.9% 提升至 75.1%。
如何调用 Hy3
Hy3 提供了兼容 OpenAI 的 API。你可以使用 vLLM 或 SGLang 部署它，然后调用端点。一个参数 `reasoning_effort` 控制模型思考的深度。
from openai import OpenAI
client = OpenAI(base_url="http://127.0.0.1:8000/v1", api_key="EMPTY")
response = client.chat.completions.create(
model="hy3",
messages=[
{"role": "user", "content": "Refactor this function and explain the change."},
],
temperature=0.9,
top_p=1.0,
# reasoning_effort: "no_think" (default), "low", "high" (deep chain-of-thought)
extra_body={"chat_template_kwargs": {"reasoning_effort": "high"}},
)
print(response.choices[0].message.content)使用 `no_think` 获取直接答案，使用 `high` 处理数学、编程或多步骤任务。腾讯研究团队建议温度设为 0.9、top_p 设为 1.0。你也可以在没有本地硬件的情况下试用 Hy3。OpenRouter 提供了 tencent/hy3:free 路由，价格为每 token 0 美元，该免费层级计划于 2026 年 7 月 21 日结束。
Hy3 的定位：应用场景
Hy3 围绕智能体风格的长上下文任务构建。以下是几个具体示例：
- 编程智能体：将整个代码仓库输入 256K 上下文窗口，要求 Hy3 以 `reasoning_effort="high"` 修复一个失败的测试。稳定的工具调用使它能够在多个文件上执行修改。
- 文档处理：将一份长合同或申报文件作为上下文传入。反幻觉训练减少了虚构条款和错误引用的出现。
- 金融分析：在单个提示词中组合表格与文字，要求生成一个有依据的摘要，对缺失数据加以标注而非猜测。
- 前端与游戏开发：生成一个 React 组件或小型游戏循环。盲测显示，其前端能力优于 GLM-5.1。
Hy3 vs GLM-5.2
腾讯研究团队在附录中将 Hy3 与 GLM-5.2 进行了基准对比。GLM-5.2 大约是 744B 参数的 MoE 模型，活跃参数约 40B；Hy3 的总参数量不到其一半，活跃参数为 21B。在编程任务上，GLM-5.2 在整套基准中均领先。
| 基准 | Hy3（21B 活跃参数） | GLM-5.2（约 40B 活跃参数） |
|---|---|---|
| SWE-Bench Verified | 78.0 | 84.2 |
| SWE-Bench Multilingual | 75.8 | 83.0 |
| Terminal-Bench 2.1 | 71.7 | 81.0 |
| DeepSWE | 28.0 | 46.2 |
| 总参数 / 活跃参数 | 295B / 21B | 约 744B / 约 40B |
| 许可证 | Apache 2.0 | 开放权重 |
这里关注的重点是模型规模，而不仅仅是分数。Hy3 在编码准确性上做出了一些让步，以换取远更小的活跃参数量。当用户自行部署并支付 GPU 费用时，这个活跃参数规模就变得至关重要。
部署说明
Hy3 拥有 295B 总参数量，因此服务部署确实需要足够的显存。腾讯研究团队建议使用 8 块 GPU，例如 H20-3e 或显存更大的显卡。vLLM 和 SGLang 均提供了启用 MTP 的部署方案。一个最简的 vLLM 启动命令如下所示：
vllm serve tencent/Hy3 \
--tensor-parallel-size 8 \
--speculative-config.method mtp \
--speculative-config.num_speculative_tokens 2 \
--tool-call-parser hy_v3 \
--reasoning-parser hy_v3 \
--enable-auto-tool-choice \
--port 8000 \
--served-model-name hy3在压缩方面，研究团队推荐使用其 AngelSlim 工具包。AngelSlim 涵盖量化、低位方法以及推测性采样。腾讯还为 Hy3 提供了完整的微调流程。
在线体验：交互式探索器
以下演示是 Hy3 的交互式探索器。它可以可视化 MoE 路由、推理模式、基准测试结果以及稀疏效率。