AMD 推出 vLLM-ATOM 插件，加速 DeepSeek、Kimi 等 AI 推理性能
阅读原文· ithome.comAMD 发布 vLLM-ATOM 插件，旨在提升大语言模型在 AMD Instinct GPU 上的推理性能。该插件无需改动现有 vLLM 的命令、API 及工作流，即可为 DeepSeek-R1、Kimi-K2、Qwen3 等模型提供加速，覆盖 MoE、稠密模型及视觉语言模型场景。其三层架构在后台接管优化，重点面向 MI350、MI400 等系列 GPU，通过融合内核与注意力后端路由等技术，降低部署门槛，实现“零学习成本”的平滑迁移。
IT之家 5 月 12 日消息，科技媒体 Wccftech 昨日（5 月 11 日）发布博文，报道称 AMD 推出 vLLM-ATOM 插件，在不改动现有 vLLM 命令、API 和工作流的前提下，提升 DeepSeek-R1、Kimi-K2 和 gpt-oss-120B 等大语言模型推理性能。
IT之家注：vLLM 是面向大语言模型部署的开源推理框架，重点优化高并发服务场景下的吞吐和显存利用率。与一般“单次调用”推理工具不同，它更强调请求调度、KV 缓存和连续批处理，适合企业把模型做成长期在线服务。
AMD 本次推出的 vLLM 插件提供了一套更贴近 AMD Instinct GPU 的推理优化方案，尽量不改变开发者现有使用方式，让用户继续使用原有 vLLM 命令、API 和端到端工作流，而插件会在后台接管优化。
vLLM-ATOM 架构与 MI300X、MI355X 示意
vLLM-ATOM 插件重点面向 Instinct MI350、MI400，以及 MI355X 等 GPU。从架构上看，vLLM-ATOM 分成 3 层：
最上层的 vLLM 负责请求调度、KV 缓存管理、连续批处理，以及兼容 OpenAI 的 API。
中间层的 ATOM 插件负责平台注册、模型实现、注意力后端路由和内核调优。
最底层的 AITER 则提供 GPU 内核，包括融合 MoE、Flash Attention、量化 GEMM 和 RoPE 融合。