STORY · 事件已收束

腾讯混元开源 AngelSpec 投机解码框架

2 个精选信源 · 2 篇报道持续 1最新动态 20天前
最新进展

AngelSpec 的 DFly 方案平均接受长度达 4.79,比 DFlash 提升 29.8%。

DIGEST

事件全貌

AI 综述 · 更新于 20天前

腾讯混元开源了端到端投机解码框架 AngelSpec,支持训练与部署。该框架提供自回归多 token 预测(MTP)与块并行 DFlash 系列两种互补草稿模型,并针对工作负载异构性设计。

在 Hy3-A21B 模型上,AngelSpec 的块扩散架构 DFly 方案相比自回归解码实现 1.98–2.40 倍端到端加速,吞吐量比 DFlash 高 10.5–11.8%。DFly 的平均接受长度达 4.79,相比 DFlash 的 3.69 提升 29.8%。

训练代码及 Hy3-A21B MTP/DFly 草稿模型权重已开源。

本综述由 AI 汇总全部报道生成,随事件进展持续更新;下方时间线中的单篇报道保留其发布时的原貌。

TIMELINE

报道时间线

2 条公开报道 · 官方一手 1 条 · 最新在前
  1. 腾讯开源 AngelSpec:面向推测解码草稿模型的统一训练框架
    MarkTechPost(RSS)

    腾讯开源了 AngelSpec,一个面向推测解码草稿模型的 torch-native 训练框架,支持自回归多 token 预测(MTP)与块并行 DFlash 系列。该框架针对工作负载异构性设计,提供 MTP 与块扩散两种互补草稿模型。在 Hy3-A21B 模型上,块扩散架构 DFly 的平均接受长度达 4.79,相比 DFlash 的 3.69 提升 29.8%。

  2. 腾讯混元开源 AngelSpec 投机解码框架
    X:腾讯混元 (@TencentHunyuan)官方一手精选

    腾讯混元开源端到端投机解码框架 AngelSpec,支持训练与部署。在 Hy3-A21B 模型上,其 DFly 方案相比自回归解码实现 1.98–2.40 倍端到端加速,吞吐量比 DFlash 高 10.5–11.8%。训练代码及 Hy3-A21B MTP/DFly 草稿模型权重已开源。