# 腾讯发布 Hy3：295B 参数稀疏 MoE 模型，21B 激活参数，支持 256K 上下文

- 来源：MarkTechPost（RSS）
- 作者：Asif Razzaq
- 发布时间：2026-07-07 13:59
- AIHOT 分数：77
- AIHOT 链接：https://aihot.virxact.com/items/cmra9ga9q00hwihl3v0uinp8w
- 原文链接：https://www.marktechpost.com/2026/07/06/tencent-releases-hy3-open-295b-moe-model

## AI 摘要

腾讯 Hy 团队发布 Hy3，一款 295B 总参数、21B 激活参数的稀疏 MoE 模型，采用 192 专家、top-8 路由架构，支持 256K 上下文长度。包含多 token 预测层（MTP），可通过 vLLM / SGLang 的推测解码加速推理，并提供 FP8 量化版。基准测试：SWE-Bench Verified 78.0、GPQA Diamond 90.4、USAMO 2026 72.0、IMOAnswerBench 90.0；盲测中以 2.67/4 分领先 GLM-5.1（2.51）。在工具调用、抗幻觉、多轮追踪三项可靠性指标上分别实现 12.5%→5.4%、25.4%→12.7%、17.4%→7.9% 的改进。支持 OpenAI 兼容 API 及 `reasoning_effort` 控制推理深度。已开源（Apache 2.0），OpenRouter 提供免费路由（免费期至 2026 年 7 月 21 日）。

## 正文

腾讯 Hy 团队发布了 Hy3。Hy3 是一个 295B 参数的混合专家（MoE）模型。每个 token 仅激活 21B 参数。权重采用 Apache License 2.0 协议发布。Hy3 面向推理、智能体工作流和长上下文任务。

Hy3 是什么？

Hy3 的架构包含一个稀疏 MoE，拥有 192 个专家和 top-8 路由。每个 token 只激活 8 个专家，因此计算量保持在较低水平。

该模型还使用了一个多 token 预测（MTP）层。MTP 同时预测多个 token，以实现更快的解码。vLLM 和 SGLang 都通过推测解码支持这一功能。

属性值

架构混合专家（MoE）

总参数295B

激活参数21B

MTP 层参数3.8B

层数（不含 MTP）80

MTP 层数1

注意力头数64（GQA，8 个 KV 头，头维度 128）

隐藏层大小4096

中间层大小13312

上下文长度256K

词汇表大小120832

专家数192 个专家，top-8 激活

支持的精度BF16

还发布了独立的 Hy3-FP8 检查点。FP8 降低了内存占用，从而实现更经济的部署。

基准测试与性能

研究团队发布了涵盖编程、智能体和 STEM 领域的分数。在编程方面，Hy3 在 SWE-Bench Verified 上达到 78.0。在 SWE-Bench Pro 上达到 57.9，在 SWE-Bench Multilingual 上达到 75.8。Terminal-Bench 2.1 为 71.7，DeepSWE 为 28.0。

在 STEM 和推理方面，分数更高。Hy3 在 GPQA Diamond 上达到 90.4，在 USAMO 2026 上达到 72.0。IMOAnswerBench 达到 90.0，HLE（使用工具）达到 53.2。

研究团队与 270 位专家进行了一项盲测。该测试收集了 312 个真实工作流的有效对比结果。Hy3 获得 2.67 分（满分 4 分），领先于 GLM-5.1 的 2.51 分。优势在前端开发、CI/CD、数据与存储方面最为明显。

https://hy.tencent.com/research/hy3

可靠性与生产行为

研究团队在此次发布中重点关注了生产可靠性。三种故障模式得到了直接关注，并附有内部数据支持。

工具调用与输出格式：团队修复了破坏智能体的基线稳定性问题。导致无限循环的无效调用数量下降。Hy3 还能在不同智能体框架间泛化。在 SWE-Bench Verified 上，CodeBuddy、Cline 和 KiloCode 之间的准确率方差保持在 4% 以内。

世界知识与反幻觉：目标行为很简单——有依据时作答，证据缺失时加以标注。在内部评估中，模型幻觉率从 12.5% 降至 5.4%，常识性错误率从 25.4% 降至 12.7%。

多轮意图追踪：联合监督微调与强化学习改进了指代与约束追踪能力。内部问题率从 17.4% 降至 7.9%，在 MRCR 长对话基准上的得分从 42.9% 提升至 75.1%。

如何调用 Hy3

Hy3 提供了兼容 OpenAI 的 API。你可以使用 vLLM 或 SGLang 部署它，然后调用端点。一个参数 `reasoning_effort` 控制模型思考的深度。

复制代码改用其他浏览器

from openai import OpenAI

client = OpenAI(base_url="http://127.0.0.1:8000/v1", api_key="EMPTY")

response = client.chat.completions.create(
model="hy3",
messages=[
{"role": "user", "content": "Refactor this function and explain the change."},
],
temperature=0.9,
top_p=1.0,
# reasoning_effort: "no_think" (default), "low", "high" (deep chain-of-thought)
extra_body={"chat_template_kwargs": {"reasoning_effort": "high"}},
)
print(response.choices[0].message.content)

使用 `no_think` 获取直接答案，使用 `high` 处理数学、编程或多步骤任务。腾讯研究团队建议温度设为 0.9、top_p 设为 1.0。你也可以在没有本地硬件的情况下试用 Hy3。OpenRouter 提供了 tencent/hy3:free 路由，价格为每 token 0 美元，该免费层级计划于 2026 年 7 月 21 日结束。

Hy3 的定位：应用场景

Hy3 围绕智能体风格的长上下文任务构建。以下是几个具体示例：

编程智能体：将整个代码仓库输入 256K 上下文窗口，要求 Hy3 以 `reasoning_effort="high"` 修复一个失败的测试。稳定的工具调用使它能够在多个文件上执行修改。

文档处理：将一份长合同或申报文件作为上下文传入。反幻觉训练减少了虚构条款和错误引用的出现。

金融分析：在单个提示词中组合表格与文字，要求生成一个有依据的摘要，对缺失数据加以标注而非猜测。

前端与游戏开发：生成一个 React 组件或小型游戏循环。盲测显示，其前端能力优于 GLM-5.1。

Hy3 vs GLM-5.2

腾讯研究团队在附录中将 Hy3 与 GLM-5.2 进行了基准对比。GLM-5.2 大约是 744B 参数的 MoE 模型，活跃参数约 40B；Hy3 的总参数量不到其一半，活跃参数为 21B。在编程任务上，GLM-5.2 在整套基准中均领先。

基准Hy3（21B 活跃参数）GLM-5.2（约 40B 活跃参数）

SWE-Bench Verified78.084.2

SWE-Bench Multilingual75.883.0

Terminal-Bench 2.171.781.0

DeepSWE28.046.2

总参数 / 活跃参数295B / 21B约 744B / 约 40B

许可证Apache 2.0开放权重

这里关注的重点是模型规模，而不仅仅是分数。Hy3 在编码准确性上做出了一些让步，以换取远更小的活跃参数量。当用户自行部署并支付 GPU 费用时，这个活跃参数规模就变得至关重要。

部署说明

Hy3 拥有 295B 总参数量，因此服务部署确实需要足够的显存。腾讯研究团队建议使用 8 块 GPU，例如 H20-3e 或显存更大的显卡。vLLM 和 SGLang 均提供了启用 MTP 的部署方案。一个最简的 vLLM 启动命令如下所示：

复制代码已复制，请使用其他浏览器

vllm serve tencent/Hy3 \
--tensor-parallel-size 8 \
--speculative-config.method mtp \
--speculative-config.num_speculative_tokens 2 \
--tool-call-parser hy_v3 \
--reasoning-parser hy_v3 \
--enable-auto-tool-choice \
--port 8000 \
--served-model-name hy3

在压缩方面，研究团队推荐使用其 AngelSlim 工具包。AngelSlim 涵盖量化、低位方法以及推测性采样。腾讯还为 Hy3 提供了完整的微调流程。

在线体验：交互式探索器

以下演示是 Hy3 的交互式探索器。它可以可视化 MoE 路由、推理模式、基准测试结果以及稀疏效率。