FLUX 3 x mimic：下一代视频动作模型
FLUX 3 的早期版本——我们全新的多模态基础模型——现已部署在机器人上运行。我们向 mimic robotics 提供了 FLUX.3 的早期访问权限。他们在机器人学习和部署方面的优势，结合该模型的世界知识以及 BFL 的基础模型专长，共同打造出 FLUX-mimic：下一代视频动作模型。
FLUX
FLUX 1 和 FLUX 2 生成图像。FLUX 3 扩展至多模态领域，能够联合生成视听内容——同时，它也为 FLUX-mimic 奠定了基础：这是一款与 mimic 合作开发的视频动作模型，驱动着已在奥迪完成测试和部署的机器人。
乍看之下，生成逼真的视觉内容与控制机器人似乎没有太多共同点。前者需要生成像素，后者则需要理解当你触摸和操控物体时物理世界会如何响应。如果一个模型能同时做到这两点，那么它从来就不仅仅是一个内容创作模型。它是一个关于世界如何运作的模型，而内容创作只是它能做的事情之一。
这正是 FLUX 3 的本质。
视频是难点所在
FLUX 3 是一个从最初就联合训练图像、视频和音频的单一模型。训练中最具挑战性的部分——占总计算成本的 95% 以上——是视频预测。要生成逼真的视频，模型别无选择，只能学习接触、运动、重量、因果关系；其中任何一项出错，视觉效果就会失真。学会准确渲染世界，就意味着学会世界如何运作。
相对而言，音频是较简单的模态。它的维度低，细节远少于视频，在带音频的 720p 视频中，音频 token 占比不到 0.5%。一旦模型完成了学习视频理解这一艰巨任务，它就会学习视频与音频之间的因果关系，从而预测与唇部动作同步的语音，以及与引发它们的物理事件同步的音效。
动作遵循相同的形态：机器人状态的低维表征，与视觉观测紧密耦合。动作、音频和视频帧都是单一底层物理现实的部分表征。当模型学会了视频和音频背后的物理过程后，动作预测并非全新的起点——它只是模型已建模的现实又多了一个视角。
单一骨干网络
如果这个框架是正确的，那么教 FLUX 3 预测动作不应产生持久的代价：我们预计会有一个短暂的扰动阶段，因为模型需要学习动作空间的结构，并将其内部世界表征与之对齐，之后才会恢复全部性能。这正是我们观察到的现象。
在一次大规模训练中，我们将动作预测加入了训练课程，并观察其对视频生成质量的影响。在文本生成视频和图像生成视频任务上，人工评分最初下降了最多 10%，因为模型开始整合新的动作模态。经过 3500 步训练后，模型在视频生成任务上已完全恢复之前的质量，同时现在还能预测动作。
每条曲线都归一化到加入动作预测前的自身质量。数值越高越好。
模型必须将动作整合到其输入和输出中——但这样做并没有永久性地消耗其能力。它只是需要学习这种新模态与其现有世界模型之间的关系。一旦弄清楚了这一点，对其现有能力的性能损失就消失了。视频生成和动作预测不需要各自独立的基础。同一个骨干网络承载了二者。
这使得物理 AI 成为 Black Forest Labs 路线图的自然延伸，而非方向上的改变。内容创作是我们的多模态 FLUX 3 骨干网络对图像、视频和音频所做的处理。物理 AI 则是它对动作所做的处理。一个基础模型，以视觉智能为核心，支撑起两大应用家族。我们并没有构建一个独立的基础模型。我们专注于最困难的事情：构建一个理解世界的模型。在这个世界中行动，正是这种理解所赋予的能力。
从实验室到现实：FLUX-mimic
当我们把 FLUX 3 主干模型应用于真实生产线上的实际自动化任务时，会发生什么？
这正是 mimic 和 BFL 创建 FLUX-mimic 所要回答的问题。mimic 自主制造机器人，并在机器人学习、灵巧操作和生产部署方面拥有专业经验；BFL 则构建视觉基础模型，在多模态训练和建模方面具备专长。双方携手打造了一款面向通用操作任务的下一代模型——它根据行业需求进行了适配，并集成到 mimic 的全栈部署系统中。FLUX-mimic 是一个基于 FLUX 3 主干构建的视频-动作模型。
解码习得的世界模型
我们的核心论点是：FLUX 3 必须学习一种世界的内部表征，才能生成视频。FLUX-mimic 遵循这一论点，从 FLUX 主干习得的世界表征中解码出动作。这种方法由 mimic-video 首创，它在从 FLUX 视频预测路径中提取的中间特征之上，训练了一个轻量级的动作解码器。
架构概览：FLUX-mimic 如何构建在 FLUX 3 之上
这种方法能否成功，取决于两个相互关联但又不同的方面：FLUX 所学习的世界模型的质量，以及该世界模型的特征表征的质量。世界模型的质量与生成质量直接相关：如果一个模型不理解世界如何运作，它就无法模拟世界。然而，即使拥有最好的世界模型，如果它无法被访问，对动作解码器也毫无帮助：如果特征空间将模态间的因果关系以非线性方式纠缠在一起，那么从特征表征中理解这些关系，其难度与从原始输入中理解它们并无二致——表征质量至关重要。
生成质量与表征质量长期以来一直被彼此孤立地研究与处理。生成式方法能够产生高质量的世界模型，从而支持模拟，并且它们展现出可预测计算投入回报的缩放定律。然而，与更专门化的表征学习方法相比，它们产生的解耦表征较少，这限制了它们在需要世界理解的任务中的实用性。
由于生成模型本身依赖于自身的特征，这种表征质量上的差异似乎有悖直觉。生成模型内部改进的表征应该能提升其世界模型的质量，并使其更适用于下游任务。在我们的工作 Self-Flow 中，我们展示了如何在一个统一框架内将生成与表征学习结合起来，并观察到了这种确切的相互提升：世界模型得到了改进——通过视频、图像和音频的生成质量来衡量——同时其表征质量也得到了提升——通过模拟中机器人控制任务的成功率来衡量。
Self-Flow 与流匹配（FM）对比。左图：每种模态的生成误差（Fréchet 距离），均以 FM = 100 为基准进行归一化（数值越低越好）。右图：通过微调，在四个任务组上平均的操作任务成功率（数值越高越好）。
扩展世界模型
缩放定律在 Self-Flow 中依然成立，FLUX 3 正是这一规律的应用：它是 Self-Flow 的规模化版本。该模型在数千万小时的通用视频内容上进行训练，从一开始就尽可能广泛地学习世界动态；同时也在数十万小时聚焦于人类和机器人操作任务的视频内容上进行训练，从而成为视觉智能的骨干模型。这种规模化正是将 Self-Flow 的成功从实验室转化为现实的关键。mimic 已在真实工厂场景中部署了 FLUX-mimic，覆盖生产和物流工作的日常现实：将零件分拣到结构化托盘、将电子控制单元插入紧密配合的夹具、组装零部件，以及处理密封件和线缆等传统自动化从未能触及的柔软柔性材料。
基准测试表明，即使在使用完全冻结的 FLUX 骨干网络（在此设置下，以往的视觉-语言-动作模型均无法成功）的情况下，动作解码器的表现仍优于之前的视觉-语言-动作模型。这凸显了规模化如何赋予我们的骨干网络丰富的世界知识以及在其中行动的能力，也展示了 Self-Flow 如何使这些知识能够从骨干网络的特征表示中轻松解码。当将骨干网络与动作解码器一起进行微调时，FLUX-mimic 达到了最先进的成功率。
虚线标记了每个模型在 20 次自主试验中的中位成功率。数值越高越好。
从世界知识到可执行的任务
一个以可解码表示形式展现世界知识的骨干网络，改变了教授机器人新任务所需的条件。如果物理规律已经存在于表示中且易于访问，那么适应一项任务就不再是教模型理解世界如何运作——它只需要学习这个特定任务如何映射到它已经知道的知识上。昂贵的部分在机器人开始移动之前就已经完成了。
这一点直接体现在新任务所需示范数据的数量上。在我们的 Self-Flow 实验中，动作预测达到给定成功率所需的训练步数，仅为未使用 Self-Flow 的视频模型的一半——更好的表征使得世界知识更容易提取，因此达到相同能力所需的数据更少。模仿视频论文报告称，视频-动作模型相比视觉-语言-动作模型，样本效率最高可提升 10 倍；FLUX-mimic 则结合了这两方面的优势。
同样的优势也体现在行为上。FLUX-mimic 能够自然地从失败中恢复：一个抓取失败的机器人会自行纠正，再次抓取，并完成任务。没有任何示范数据集能覆盖任务可能出错的所有情况。从未被示范过的恢复行为必须来自其他地方——来自一个已经理解世界运行方式的模型。
骨干网络预测的未来（上方），以及机器人根据解码后的动作实际执行的结果（下方）。
足够快以执行动作
实际部署设定了一个硬性约束：模型必须与世界变化的速度同步。FLUX-mimic 的主要计算成本在于骨干网络。它是模型中最大的组成部分，并且在 mimic 优化后的部署栈中，其延迟实际上决定了整个系统的上限。
这正是我们的方法论第二次产生回报的地方。更好的表征意味着每个参数拥有更强的能力：一个学习了良好结构化世界模型的模型，要达到给定性能水平所需的容量，比未学习该模型的模型更少。对于部署而言，这直接意味着可以运行更小的骨干网络——而更小的骨干网络就是更快的骨干网络。
在 100 万训练步数下的 CLIP 分数；越高越好。骨干网络深度是部署延迟的主要决定因素，因此层数越少意味着模型速度越快。
因此，FLUX-mimic 的骨干网络经过优化后，在单块 NVIDIA RTX 5090 GPU 上，从输入到生成世界表征的运行时间可低于 80 毫秒——这使其与人类视觉反应时间处于同一数量级。
实际部署需要对整个部署栈进行额外优化，以避免增加任何额外延迟：mimic 的优化范围从动作解码器，到削减传感器、模型与执行器之间的进程间延迟，再到实时分块处理，使预测与执行重叠，从而让机器人平稳运行、无抖动。最终成果是一个反应时间为 101 毫秒的独立机器人系统。
在工厂车间
这一切都回到了自动化的关键场所：工厂。奥迪运营着汽车行业自动化程度最高的生产网络之一——这使其能够精确洞察传统自动化的局限所在。尽管在机器人技术领域投入了数十年，涉及柔性部件和精细操作的任务仍依赖人工完成，这主要是出于经济原因：高端生产的多样化型号使得传统编程的机器人单元针对每种情况重新改造的成本过高。基于学习的系统改变了这一局面。
“奥迪与 mimic 合作，一直在测试和部署 FLUX-mimic。我们观察到这些机器人能够解决复杂的软体操控任务，这些任务使用传统机器人技术根本不可能完成。这将在协助员工、提升效率以及在生产与物流运营中扩展柔性自动化方面产生重大影响。对我们而言，与 mimic 和 Black Forest Labs 等先驱公司合作，对于推动具身智能的前沿发展，并在真实生产环境中验证这些创新至关重要。”——奥迪生产实验室 Christoph Schneider
结语
FLUX-mimic 是一个专为机器人设计的模型——也是未来发展的一个例证。其样本效率和鲁棒性源于 FLUX 3 主干架构及其所呈现表征的质量，而非特定任务的工程优化。这正是该方法能够跨任务、跨行业、跨硬件迁移的原因。更多信息请通过 mimic 了解。
一个模型，以视觉智能为核心，生成图像、视频和音频——并驱动生产线上的机器人。内容创作与具身智能是同一基础的两类应用。