MiniMax预告M3系列模型,并回顾M2.x系列技术细节
阅读原文· ithome.comMiniMax在X平台预告即将推出M3系列AI模型,并关联到一篇回顾M2.x系列的论文。论文指出,M2.x系列总参数229.9B,但每个词元仅激活9.8B参数,配备192K上下文窗口,预训练数据规模达29.2T词元。模型采用62层Transformer架构和256个专家(每词元激活8个),其训练系统是基于智能体的强化学习系统Forge。论文还披露,M2.7已展现出“自我进化”雏形,能自主排查训练错误并修改代码,已吸收团队30%至50%的日常迭代工作量。
IT之家 5 月 27 日消息,上海稀宇科技有限公司(MiniMax)今天在 X 平台发布推文,预告将推出 MiniMax M3 系列模型。
该推文转发了一篇 5 月 26 日发表在 arxiv 上的论文《The MiniMax-M2 Series: Mini Activations Unleashing Max Real-World Intelligence》,回顾了 MiniMax M2.x 系列模型的背后工作。IT之家附上相关截图如下:
该论文指出 MiniMax M2.x 系列模型总参数 229.9B,但每个词元仅激活 9.8B 参数,主打“低激活、高智能”,配备 192K 上下文窗口,预训练数据规模达 29.2T 词元。
在模型设计上,M2 系列采用 62 层解码器式 Transformer(变换器),使用 256 个细粒度专家,并为每个词元激活 8 个专家。
在训练系统层面,MiniMax 提出 Forge,这是一个面向智能体的强化学习系统,支持白盒与黑盒智能体统一接入。系统通过训练、推理与智能体解耦,配合窗口化 FIFO 调度、前缀树合并和推理加速,降低长轨迹训练成本。
M2.7 最受关注的升级,是论文提出的“自我进化”雏形。模型已能自主排查训练失败、阅读日志、修改脚手架代码,并在内部任务上完成 100 轮自主迭代。
论文称,这套系统已吸收团队 30% 到 50% 的日常迭代工作量,且在内部编程脚手架优化中带来 30% 性能提升,显示模型开始参与自身开发闭环。
参考