On total tokens per $ TCO, a new AMD MI355x submission beats B300 at lower interactivity ranges on AgentX. Both high throughput configs use disaggregated setups. Shoutout to vLLM, AMD, and LMCache engineers.
AI 导读
SemiAnalysis 发文称，在 AgentX 上按每美元 TCO 总 token 计，新的 AMD MI355X 提交成绩在较低 P90 交互性区间击败 B300，两侧高吞吐配置均采用分离式部署。文中致谢 vLLM、AMD 和 LMCache 的工程师。
SemiAnalysis@SemiAnalysis_36
AI 编辑部评分，满分 100SemiAnalysis 发文称，在 AgentX 上按每美元 TCO 总 token 计，新的 AMD MI355X 提交成绩在较低 P90 交互性区间击败 B300，两侧高吞吐配置均采用分离式部署。文中致谢 vLLM、AMD 和 LMCache 的工程师。
来源：SemiAnalysis· x.com