公众号正文需在微信内阅读,站内仅提供摘要。
在微信中打开原文(在新标签页打开)Xiaomi MiMo-V2.5-Pro 携手 TileRT:1T 模型首次突破 1000 tokens/s 输出速度
AI 导读
Xiaomi MiMo-V2.5-Pro 的 UltraSpeed 模式与 TileRT 联合发布,让 1T 参数旗舰模型输出速度首次突破 1000 tokens/s,仅用一个标准 8 卡通用 GPU 节点实现。
公众号:小米 MiMo
精选
84
AI 编辑部评分,满分 100Xiaomi MiMo-V2.5-Pro 携手 TileRT:1T 模型首次突破 1000 tokens/s 输出速度
Xiaomi MiMo-V2.5-Pro 的 UltraSpeed 模式与 TileRT 联合发布,让 1T 参数旗舰模型输出速度首次突破 1000 tokens/s,仅用一个标准 8 卡通用 GPU 节点实现。
推荐理由
万亿模型在通用 GPU 上跑出 1000 tps,把实时金融风控、量化交易和医疗影像等对延迟敏感的场景从「不可用」变为「可能」,且方法可复现。
来源:公众号:小米 MiMo· mp.weixin.qq.com