公众号:小红书技术(dots.llm)
精选
70AI 编辑部评分,满分 100

小红书 dots infra 开源 BigMac:突破多模态大模型训练的帕累托前沿

2026-07-22 18:06· 25天前· 小红书技术REDtech
AI 导读

小红书开源 BigMac,一种面向原生多模态场景的流水并行训练新范式。它通过依赖安全的嵌套流水线,在不增加 LLM 流水线空泡、保持激活显存有界的同时,高效实现多模态流水训练。相比基线,BigMac 训练速度提升 1.08~1.9 倍,并在 global batch size 增大时保持稳定显存占用,目前已应用于 dots 多模态模型生产训练。

推荐理由

通过在成熟的LLM流水线中嵌入依赖安全的编码器与生成器计算,BigMac让多模态大模型训练不再需要在速度和显存之间做非此即彼的选择,适合正在纠结训练策略的工程团队检查调度逻辑。

公众号正文需在微信内阅读,站内仅提供摘要。

在微信中打开原文

来源:公众号:小红书技术(dots.llm) · mp.weixin.qq.com

同一事件 · 1
返回
精选AI 评分 70/100

小红书 dots infra 开源 BigMac:突破多模态大模型训练的帕累托前沿

公众号:小红书技术(dots.llm)·2026-07-22 18:06·25天前·小红书技术REDtech
AI 导读

小红书开源 BigMac,一种面向原生多模态场景的流水并行训练新范式。它通过依赖安全的嵌套流水线,在不增加 LLM 流水线空泡、保持激活显存有界的同时,高效实现多模态流水训练。相比基线,BigMac 训练速度提升 1.08~1.9 倍,并在 global batch size 增大时保持稳定显存占用,目前已应用于 dots 多模态模型生产训练。

公众号正文需在微信内阅读,站内仅提供摘要。

在微信中打开原文(在新标签页打开)

来源:公众号:小红书技术(dots.llm)· mp.weixin.qq.com

同一事件 · 1