公众号正文需在微信内阅读，站内仅提供摘要。
在微信中打开原文（在新标签页打开）小红书开源 BigMac：多模态大模型训练新范式
AI 导读
小红书技术团队开源 BigMac，一种针对多模态大模型训练的依赖安全嵌套流水线新范式。它以 LLM 流水线为主干，在不打乱执行顺序的前提下嵌入编码器和生成器计算，相比基线实现 1.08x-1.9x 加速，同时保持激活显存有界。BigMac 已作为 dots 多模态模型训练的核心组件投入生产。
公众号：小红书技术（dots.llm）
精选
62
AI 编辑部评分，满分 100小红书开源 BigMac：多模态大模型训练新范式
小红书技术团队开源 BigMac，一种针对多模态大模型训练的依赖安全嵌套流水线新范式。它以 LLM 流水线为主干，在不打乱执行顺序的前提下嵌入编码器和生成器计算，相比基线实现 1.08x-1.9x 加速，同时保持激活显存有界。BigMac 已作为 dots 多模态模型训练的核心组件投入生产。
推荐理由
过去多模态训练要么废显存要么慢到崩溃，BigMac 用“嵌套流水线”破掉了这个帕累托前沿，做多模态大模型且被训练效率卡住的团队值得动手试一下。
来源：公众号：小红书技术（dots.llm）· mp.weixin.qq.com
同一事件 · 1