Tencent Hy@TencentHunyuan做推理加速的可以试试这个端到端推测解码框架，腾讯开源了完整代码和权重，在 Hy3 上提速近 2.4 倍且吞吐更高，拿来即用。
腾讯混元开源端到端投机解码框架 AngelSpec，支持训练与部署。在 Hy3-A21B 模型上，其 DFly 方案相比自回归解码实现 1.98–2.40 倍端到端加速，吞吐量比 DFlash 高 10.5–11.8%。训练代码及 Hy3-A21B MTP/DFly 草稿模型权重已开源。
🚀 我们已开源 AngelSpec，这是一个支持训练与部署的端到端推测解码框架。
在 Hy3-A21B 上，DFly 在 4 到 64 的测试并发度范围内，相比自回归解码实现了 1.98–2.40 倍的端到端加速，吞吐量比 DFlash 高出 10.5–11.8%。
训练代码以及 Hy3-A21B MTP/DFly 草稿模型权重现已开放： GitHub：https://github.com/Tencent/AngelSpec 论文：https://arxiv.org/abs/2607.25852 文档：https://angelspec.readthedocs.io Hugging Face：https://huggingface.co/collections/AngelSlim/angelspec ModelScope：https://modelscope.cn/collections/AngelSlim/AngelSpec #Hy3 #AngelSpec #开源
做推理加速的可以试试这个端到端推测解码框架，腾讯开源了完整代码和权重，在 Hy3 上提速近 2.4 倍且吞吐更高，拿来即用。
腾讯混元开源端到端投机解码框架 AngelSpec，支持训练与部署。在 Hy3-A21B 模型上，其 DFly 方案相比自回归解码实现 1.98–2.40 倍端到端加速，吞吐量比 DFlash 高 10.5–11.8%。训练代码及 Hy3-A21B MTP/DFly 草稿模型权重已开源。
🚀 我们已开源 AngelSpec，这是一个支持训练与部署的端到端推测解码框架。
在 Hy3-A21B 上，DFly 在 4 到 64 的测试并发度范围内，相比自回归解码实现了 1.98–2.40 倍的端到端加速，吞吐量比 DFlash 高出 10.5–11.8%。
训练代码以及 Hy3-A21B MTP/DFly 草稿模型权重现已开放： GitHub：https://github.com/Tencent/AngelSpec 论文：https://arxiv.org/abs/2607.25852 文档：https://angelspec.readthedocs.io Hugging Face：https://huggingface.co/collections/AngelSlim/angelspec ModelScope：https://modelscope.cn/collections/AngelSlim/AngelSpec #Hy3 #AngelSpec #开源