OpenAI 携手英伟达等 5 大巨头发布 MRC 协议,重塑大规模 AI 训练网络架构
阅读原文· ithome.comOpenAI联合AMD、博通、英特尔、微软和英伟达,通过开放计算项目(OCP)开源了多路径可靠连接(MRC)协议。该协议旨在解决大规模AI训练中的网络延迟和故障问题。MRC基于RoCE标准扩展,结合SRv6技术,采用多平面网络设计,仅需两层交换机即可连接约13.1万块GPU,降低了网络功耗与成本。其自适应数据包喷淋技术可将数据分散至数百条路径并行传输,避免核心拥塞。同时,协议采用SRv6源路由简化控制,使网络故障恢复时间从秒级缩短至微秒级。MRC已应用于NVIDIA GB200超级计算机及Oracle Cloud Infrastructure站点。
IT之家 5 月 7 日消息,OpenAI 昨日(5 月 6 日)发布公告,为解决大规模 AI 训练中的网络延迟和故障问题,已携手 AMD、博通、英特尔、微软和英伟达公司,联合推出多路径可靠连接(MRC)协议,并通过 OCP(开放计算项目)向全行业开放该协议。
IT之家援引博文介绍,MRC 全称为 Multipath Reliable Connection,基于 RoCE 标准扩展,结合 SRv6 技术,通过开放计算项目(OCP)向全行业开源,致力于提升超级计算机网络的性能与韧性。
大规模训练 AI 模型面临严峻的网络挑战,单一数据传输延迟可能导致整个进程中断,致使 GPU(图形处理器)闲置。网络拥塞、链路及设备故障是主要诱因,且集群规模越大,问题发生频率越高。
针对传统网络架构扩展性不足的问题,MRC 采用多平面网络设计。通过将单一 800Gb/s 接口拆分为多个较小链路,系统仅需两层交换机即可连接约 13.1 万块 GPU。相比传统三层或四层架构,这一设计显著降低了网络功耗与组件数量,在降低成本的同时提升了路径多样性。
在流量调度方面,MRC 引入自适应数据包喷淋技术。与传统单路径传输不同,该技术将单一传输任务的数据包分散至数百条路径并行传输,有效避免了核心网络拥塞。即使数据包乱序到达,接收端也能依据内存地址信息正确重组。
为简化网络控制,MRC 摒弃了复杂的动态路由协议(如 BGP),转而采用 SRv6 源路由。发送端直接指定数据包路径,交换机仅需依据静态配置表转发。这种机制消除了动态路由的故障行为,使网络故障恢复时间从秒级缩短至微秒级。