# 小红书 dots infra 开源 BigMac：突破多模态大模型训练的帕累托前沿

- 来源：公众号：小红书技术（dots.llm）
- 作者：小红书技术REDtech
- 发布时间：2026-07-22 18:06
- AIHOT 分数：70
- AIHOT 标记：精选
- AIHOT 链接：https://aihot.virxact.com/items/cmsdu108a00ucrofzwlsyffxo
- 原文链接：https://mp.weixin.qq.com/s?__biz=Mzg4OTc2MzczNg%3D%3D&mid=2247495739&idx=1&sn=ba6e41fd6a02ce09e3426ca46a17e194

## 精选理由

通过在成熟的LLM流水线中嵌入依赖安全的编码器与生成器计算，BigMac让多模态大模型训练不再需要在速度和显存之间做非此即彼的选择，适合正在纠结训练策略的工程团队检查调度逻辑。

## AI 摘要

小红书开源 BigMac，一种面向原生多模态场景的流水并行训练新范式。它通过依赖安全的嵌套流水线，在不增加 LLM 流水线空泡、保持激活显存有界的同时，高效实现多模态流水训练。相比基线，BigMac 训练速度提升 1.08～1.9 倍，并在 global batch size 增大时保持稳定显存占用，目前已应用于 dots 多模态模型生产训练。

## 正文

公众号正文需在微信内阅读，站内仅提供摘要。

> 站内仅提供摘要，全文见原文。