STORY · 事件已收束

小红书与北京大学开源 UltraEP

1 个精选信源 · 1 篇报道持续 1 天最新动态 14天前
最新进展

小红书、北大开源 UltraEP：面向大规模 MoE 训推的「最优」负载均衡方案

TIMELINE

报道时间线

1 条公开报道 · 官方一手 1 条 · 最新在前
  1. 小红书、北大开源 UltraEP：面向大规模 MoE 训推的「最优」负载均衡方案
    公众号：小红书技术（dots.llm）官方一手精选

    小红书与北大开源 UltraEP，首次将基于精确路由信息的实时负载均衡引入生产系统，在每个 microbatch 和每一层动态复制热点专家，平均达到理想性能的 94.3%，相比业界 SOTA 训推框架提升 1.49 倍。该方案已在 288B 参数 MoE 模型的完整预训练中部署，保持不低于理想性能 92% 的水平。