正文 · AI 翻译
快，更快，Qwen。🚀
非常高兴地看到，Qwen3.5 在 TokenSpeed 引擎上针对智能体工作负载实现了破纪录的 580 tps！这一里程碑的实现离不开我们优秀的合作伙伴。
特别感谢 @lightseekorg、@NVIDIAAI、Mooncake 团队和 @tri_dao 在 FA4 优化方面做出的开创性工作。我们携手合作，共同推动开源大语言模型推理的边界。🤝✨
点击下方链接查看完整的 @PyTorch 博客文章！👇 https://pytorch.org/blog/up-to-580tps-new-speed-record-of-qwen3-5-397b-a17b-on-gpu-for-agentic-workloads-with-tokenspeed/
#Qwen #Qwen3_5 #TokenSpeed #LLM #推理 #AI #PyTorch #开源 #智能体AI #高性能
The speed-of-light optimization for Qwen3.5 on the TokenSpeed inference engine is a significant milestone, achieving a record-breaking 580 tokens per second (tp...