小红书开源 BigMac

小红书技术团队开源 BigMac，一种针对多模态大模型训练的依赖安全嵌套流水线新范式。它以 LLM 流水线为主干，在不打乱执行顺序的前提下嵌入编码器和生成器计算，相比基线实现 1.08x-1.9x 加速，同时保持激活显存有界。BigMac 已作为 dots 多模态模型训练的核心组件投入生产。

小红书开源 BigMac，一种面向原生多模态场景的流水并行训练新范式。它通过依赖安全的嵌套流水线，在不增加 LLM 流水线空泡、保持激活显存有界的同时，高效实现多模态流水训练。相比基线，BigMac 训练速度提升 1.08～1.9 倍，并在 global batch size 增大时保持稳定显存占用，目前已应用于 dots 多模态模型生产训练。