谷歌为 Gemma 4 系列 AI 模型推出 MTP 起草器，推理速度最高提升 3 倍
阅读原文· ithome.com谷歌为Gemma 4系列开源模型推出多Token预测起草器，采用推测解码技术以提升推理效率。该技术通过轻量级起草器预测多个未来Token，再由重型目标模型并行验证，从而突破内存带宽限制，将计算资源利用率最大化。实测显示，在特定条件下，Gemma 4 26B模型在Apple Silicon芯片上实现了约2.2倍的本地加速。此举有助于在个人电脑、消费级显卡及边缘设备上高效部署低延迟AI应用，如聊天机器人和编程助手。
IT之家 5 月 7 日消息，谷歌于 5 月 5 日发布博文，宣布为 Gemma 4 系列 AI 模型，推出多 Token 预测（MTP）起草器，利用推测解码架构，推理速度最高可提升 3 倍。
Gemma 4 作为谷歌目前能力最强的开源模型，在发布仅数周内下载量已突破 6000 万次。此次推出的 MTP 起草器，目的是不降低输出质量或推理逻辑的前提下，突破推理效率的极限。
IT之家援引博文介绍，谷歌表示目前标准大语言模型推理通常受限于内存带宽，导致严重的延迟瓶颈。处理器需耗费大量时间将数十亿参数从显存传输至计算单元，造成了计算资源的利用率不足。
而为了解决这个核心痛点，谷歌为 Gemma 4 系列大模型引入推测解码技术，配对重型目标模型（如 Gemma 4 31B）与轻量级起草器（MTP 模型）。
起草器利用闲置算力，在短时间内预测多个未来 Token，目标模型随后并行验证这些令牌。若预测通过，模型可在单次前向传递中确认整个序列，大幅缩短生成时间。
实测数据显示，在 Apple Silicon 芯片上，当 batch sizes 设置为 4 至 8 时，Gemma 4 26B 模型实现了约 2.2 倍的本地加速。开发者可利用该技术在个人电脑及消费级显卡上流畅运行复杂的离线编程与智能体工作流，同时显著降低边缘设备的能耗。
此次更新主要面向对低延迟要求极高的应用场景，包括聊天机器人、编程助手、自主智能体及移动端应用。开发者能在资源受限的环境中部署先进的语言模型，无需牺牲响应速度或计算精度，进一步拓展 AI 应用的边界。
参考