# 小米发布Xiaomi-Robotics-U0：380亿参数多模态自回归模型统一具身合成 - 来源：HuggingFace Daily Papers（社区热门论文） - 发布时间：2026-07-13 22:57 - AIHOT 分数：76 - AIHOT 标记：精选 - AIHOT 链接：https://aihot.virxact.com/items/cmrkswubg00wabi5qrgj8jc2l - 原文链接：https://arxiv.org/abs/2607.11643 ## 精选理由 小米这个 38B 的统一具身生成模型，把图像、编辑、场景生成等全塞进一个框架，并在真实机器人操作任务上把 pi_0.5 的成功率从 36.9% 拉到 63.2%，做具身智能的值得认真看。 ## AI 摘要 小米推出Xiaomi-Robotics-U0，一个380亿参数的多模态自回归模型，用于统一具身合成。该模型将具身生成视为基础图像与视频生成的延伸，联合优化文生图、图像编辑、具身场景生成、具身迁移及具身视频生成。它是首个支持跨多种机器人形态的高质量多视角场景生成模型，并引入结构化可控具身迁移。该模型在单步与序列生成任务上达到SOTA，在具身场景生成与迁移的人类评估中超越GPT-Image-2.0，在World Arena具身视频生成排名第一，并将pi_0.5在真实世界操控任务上的分布外成功率从36.9%提升至63.2%。代码与检查点已开源。 ## 正文 摘要 近期的基础图像与视频生成模型展现出强大的泛化能力和可控性，但其在具身场景中的直接应用受到多视角一致性、几何连贯性以及机器人本体约束等要求的限制。现有方法通常利用有限的机器人数据对基础模型进行适配，往往牺牲了在大规模预训练过程中获得的视觉知识。 我们提出小米机器人-U0（Xiaomi-Robotics-U0），一个拥有 380 亿参数的多模态自回归模型，用于统一的具身合成。它将具身生成视为基础图像与视频生成的延伸，并联合优化了文生图、图像编辑、具身场景生成、具身迁移以及具身视频生成。这种统一框架在将预训练的世界基础模型适配到具身场景的同时，保留了其泛化能力。 小米机器人-U0 是首个支持跨多种机器人本体进行高质量多视角场景生成的模型，并引入了结构化、可控的具身迁移，用于实现细粒度编辑，同时保持多视角一致性和交互动态。它在单步生成和序列生成任务上取得了最先进的结果，在具身场景生成与迁移的人工评估中超越了 GPT-Image-2.0，在具身视频生成的 World Arena 排行榜上排名第一，并将具有挑战性的真实世界操作任务中的分布外成功率从 36.9% 提升至 63.2%。这些结果表明，基础世界模型既可以作为具身世界模型，也可以作为具身智能的可扩展数据引擎。代码和检查点可在 https://robotics.xiaomi.com/xiaomi-robotics-u0.html 获取。 完整作者列表请参见贡献章节。请将通信发送至 mi-robotics@xiaomi.com 1 引言 图 1：小米机器人-U0 的具身能力与通用能力。矩形区域对应同一本体的初始观测、成对迁移样本以及具身能力视频中的关键帧。所有帧均为参考图像和生成图像。 图2：小米机器人U0所有任务概览，灰色：输入；橙色：输出。 近期，基础图像与视频生成模型 [podell2024sdxl, labs2025flux1kontextflowmatching, openai_gptimage_2025, blattmann2023stable, cui2025emu3, xie2025show, wu2025janus, chen2025janus, team2024chameleon] 通过互联网数据训练，在语义理解、可控生成和视觉推理方面取得了显著进展。大规模生成模型现已能够根据多种多模态输入合成高度逼真的图像和视频，展现出远超训练数据分布的惊人泛化能力。这些能力使基础生成模型成为具身智能 [yuan2026fast, ye2026world, shang2026roboscape, long2026scaling] 的理想起点——在具身智能中，机器人需要在行动前对复杂环境进行推理，并想象未来的交互过程。 然而，具身生成 [long2025survey, liu2025aligning, li2025comprehensive] 带来的挑战与传统的图像和视频合成有着本质区别。与自然图像生成不同，具身场景要求严格的多视角一致性、跨摄像头的精确几何与物理连贯性、明确的机器人本体约束，以及时间上一致的交互动态。生成的观测结果必须与机器人运动学、相机标定以及下游操作策略保持兼容，而不仅仅是视觉上看起来逼真。因此，直接将现有的基础图像或视频生成模型应用于具身场景，往往会导致几何不一致、机器人状态不合理，以及与机器人控制的兼容性差等问题。 近期涌现的具身世界模型 [agarwal2026cosmos, zhang2026qwen, shang2026roboscape] 试图通过利用机器人轨迹 [Neill2023open_x_embodiment, tian2026interndata, yin2026geniesim30, jiang2025galaxea, walke2023bridgedata, brohan2022rt] 或第一人称操作视频 [akhtyamov2025egowalk, grauman2022ego4d] 持续适配预训练基础模型，来弥合这一差距。尽管这些方法已展现出令人鼓舞的进展，但其适配范式与基础模型预训练存在根本性差异。后训练过程通常仅在机器人专用数据集上进行，而非保留那些最初赋予基础模型强大语义理解与可控生成能力的多样化图像及视频生成任务。由于具身数据集与互联网规模的视觉语料库 [gadre2023datacomp, schuhmann2022laion, kakaobrain2022coyo-700m] 相比规模显著更小、多样性更低且高度重复，这种适配不可避免地削弱了从基础模型继承而来的泛化能力，并限制了具身生成的多样性、可控性与可扩展性。 在本工作中，我们提出 Xiaomi-Robotics-U0，一种统一具身合成模型，该模型将基础生成与具身生成统一在单一训练范式内。如图 1 所示，Xiaomi-Robotics-U0 并非将基础模型特化为机器人专用生成器，而是将具身合成重新定义为基础图像与视频生成的自然延伸。从世界基础模型出发，Xiaomi-Robotics-U0 在统一自回归目标下，持续在通用领域数据集与具身数据集上联合训练，共同学习文本到图像生成、图像编辑、具身场景生成、具身迁移以及具身视频生成。图 2 展示了 Xiaomi-Robotics-U0 的上述能力。这种统一公式在保留基础模型丰富语义知识与可控生成能力的同时，有效地将其适配到以机器人为中心的多视角推理与交互建模中。 超越单步生成，小米机器人 U0 进一步将具身合成扩展到序列世界建模。通过联合学习跨多个时间分辨率的交错具身序列与操作视频，该模型既能捕捉长程任务进展，也能捕捉细粒度的交互动态。更重要的是，这使得具身生成能够从静态场景合成演变为可扩展的轨迹生成引擎：生成的具身场景可直接展开为时间上连贯的操作视频，为下游策略学习提供丰富的合成轨迹。我们相信，这一能力代表着向智能体具身数据生成迈出的重要一步——基础世界模型通过自主交互展开，持续生成日益多样化的机器人经验。 大量实验表明，小米机器人 U0 在单步与序列具身生成任务上均确立了新的最优水平。它是首个能够在单一自回归框架内实现高质量多视角具身场景生成、结构化可控具身迁移以及零样本具身视频生成的统一具身合成模型。在具身场景生成与具身迁移的人工评估中，小米机器人 U0 超越了 GPT-Image-2.0；在 World Arena 基准测试上达到最优性能；并显著提升了使用生成数据的下游机器人策略的分布外鲁棒性。这些结果表明，世界基础模型不仅可以作为具身世界模型，还可以作为具身智能的可扩展数据引擎。 我们推出小米机器人-U0，这是首个统一的具身合成模型，能够在单一自回归框架内无缝整合基础图像生成、图像编辑、具身场景生成、具身迁移以及具身视频生成。通过在统一持续训练范式下联合优化通用领域与具身生成任务，小米机器人-U0 有效将基础世界模型的泛化能力迁移至具身生成领域，同时保留了其原有的视觉生成能力。 我们提出了首个面向多视角具身生成的统一框架，涵盖具身场景生成与可控具身迁移。通过与大规模文生图及图像编辑数据的联合训练，小米机器人-U0 实现了最先进的性能，具备卓越的多视角一致性、细粒度可控性与指令遵循能力，在人工评估中超越了 GPT-Image-2.0。此外，我们引入了一种结构化控制公式，将工作空间、背景、前景无关物体、目标物体与光照解耦为独立控制维度，从而在保持几何一致性与交互动态的前提下，实现可扩展的具身视频增强。生成的数据显著提升了下游机器人策略在具有挑战性的真实世界操作任务中的鲁棒性。 我们将具身生成从静态场景合成扩展至序列化具身世界建模，通过交错子任务-子目标学习与多帧率具身视频生成实现。小米机器人-U0 在 World Arena 基准测试中取得了最先进的性能，并展现出强大的零样本多视角具身视频生成能力。通过从合成具身场景出发实现连贯的长程推演，小米机器人-U0 将基础世界模型转化为可扩展的具身数据引擎，为未来策略学习提供了生成多样化具身交互轨迹的智能体化路径。 2 小米机器人-U0 2.1 问题形式化 我们的目标是开发一个统一的具身世界模型，在单一自回归框架下支持多样化的生成与预测任务。给定一个多模态上下文 (1) 其中每个元素可以是文本 token、图像 token 或机器人相关的控制 token，该模型学习后续多模态序列的联合分布 (2) 使用标准的下一 token 预测（NTP）。 为支持具身智能，小米机器人 U0 在多种具有不同时间结构的互补数据格式上进行训练。具体而言，我们将所有训练样本分为两类。 单步样本描述输入与输出之间的一次性映射，不涉及显式的时间演化。这些样本包括：(i) 文生图（T2I），模型根据文本描述生成图像；(ii) 任意到图像（X2I），使用一到三张参考图像结合文本进行图像编辑与生成；(iii) 具身场景生成，模型根据机器人形态和场景描述生成初始的多视角机器人观测；(iv) 具身迁移，模型根据当前具身观测和目标场景描述预测迁移后的多视角观测。 序列样本建模长程交互与未来演化。我们考虑两种代表性格式：(i) 图文交错的子任务-子目标序列，其中每个子任务描述后跟随完成后的对应多视角观测；(ii) 以多种帧率采集的具身操作视频，使模型能够同时捕捉稀疏的任务级转换和密集的交互动态。 尽管语义不同，所有任务均被表示为统一的多模态 token 序列，并在相同的自回归目标下进行优化，从而使知识能够在图像生成、场景理解、具身推理和未来预测之间自然共享。 图 3：小米机器人 U0 的总体结构。该模型以统一的下一 token 预测目标进行大规模端到端训练，并附带高效的推理扩展方案。 2.2 模型架构 图 3 展示了小米机器人 U0 的整体架构。我们采用开源的 EMU3.5 [cui2025emu3] 作为初始化模型，该模型基于 Qwen-3-32B 仅解码器 Transformer 架构构建，在图像生成和图文交错建模方面展现出强大能力。图像首先由 IBQ 分词器 [shi2025scalable] 进行分词处理，其空间压缩比为 。通过将 IBQ 码本扩展至原始 Qwen 词表，所有模态均在一个统一的离散词表中表示，并采用下一 token 预测的方式进行建模。 与引入任务特定预测头的传统具身世界模型相比，小米机器人 U0 将所有生成任务——包括图像生成、具身场景合成、场景迁移、顺序子任务预测以及视频生成——均建模为单一的自回归序列建模问题。这种统一框架能够实现高效的多任务联合训练，同时保留从大规模预训练模型中继承的强视觉生成能力。 为提升推理效率，我们进一步采用了受 FlashAR [zhou2026flasharefficientposttrainingacceleration] 启发的推理加速适配方案。具体而言，引入了一个额外的垂直预测头，以反对角线顺序解码图像 token，从而允许同时生成多个视觉 token。结合优化的 KV 缓存管理以及 vLLM [kwon2023efficient] 提供的连续批处理能力，小米机器人 U0 在 1024×1024 分辨率下的图像生成速度相比原始 NTP 模式最高提升 ，同时保持了大部分生成质量。 2.3 数据集 图4：所构建的单步生成数据集示意图。除了具身迁移和具身场景生成数据外，我们还额外引入了文生图（T2I）和任意图生图（X2I）数据进行联合训练。具体而言，我们加入了相机控制和时间控制数据，以提升空间与时间理解能力。针对结构与几何感知，我们利用先进的计算机视觉工具构建了骨架、深度、边缘和语义掩码数据集。为保持预训练模型的能力，我们引入了通用的T2I和X2I数据集进行联合训练。 2.3.1 数据集整理 数据收集 为使小米机器人-U0具备广泛的视觉理解与生成能力，我们整合了一个涵盖六个不同领域的多样化训练语料库，每个领域都贡献了互补的视觉和语义先验知识。 通用图文数据提供了基础的视觉-语义对齐。我们纳入了ShareGPT4V [chen2024sharegpt4v] 及类似的大规模视觉语言基准数据集，为基于文本条件的生成建立强基线。 具身操作数据弥合了被动视觉理解与主动物理交互之间的鸿沟。该领域结合了真实世界和模拟两种来源。在真实数据方面，我们利用了AgiBotWorld-Beta [bu2025agibot]、Open X-Embodiment [Neill2023open_x_embodiment] 以及内部采集的专有多视角机器人操作数据集（我们称之为MiBot）。在模拟数据方面，我们整合了来自RoboTwin2.0 [chen2025robotwin]、GenieSim [yin2026geniesim30] 和InternData-A1 [tian2026interndata] 的数据，从而覆盖了物理采集困难或危险的场景。 自动驾驶数据捕捉了具有复杂空间布局和动态物体的结构化室外场景。我们通过Cosmos-Drive-Dreams [ren2025cosmosdrive] 获取这些数据，该数据集提供了包含多种天气、光照和交通条件的高质量驾驶场景。 源自 EgoWalk [akhtyamov2025egowalk] 的自我中心数据提供了第一人称视角的录制内容，这些内容反映了人类自然的视角和运动模式，丰富了模型对人类中心视觉体验的理解。 3D 重建数据提供了密集的多视角对应关系和精确的几何结构。我们使用了 ScanNet++ v2 [yeshwanth2023scannet++] 和 DL3DV-10K [ling2024dl3dv]，两者都提供了高质量的室内外 3D 场景捕捉数据。 源自 Open-P2P [yue2026openp2p] 的游戏数据引入了风格化和程序化生成的环境，将视觉分布的多样性扩展到了真实世界捕捉之外。 数据过滤 大规模收集的原始数据不可避免地包含会损害生成质量的伪影。受 Abot Physical World [chen2026abot] 启发，我们实现了一个自主数据过滤流程，包括运动模糊检测、图像质量检测和夹爪状态对齐。 总而言之，我们收集了 950 万个样本用于单步生成，对应 564 亿个模型 token。对于序列生成，我们选取了 260 万个视频片段，对应 496 亿个模型 token。 2.3.2 数据集标注 统一标注流程 大多数原始样本缺乏细粒度的文本标注，仅带有粗略的任务级描述，这无法支持精确的文本驱动具身生成。因此，我们构建了一个统一的标注流程，以标准化异构数据上的监督信号。 统一标注流程 我们利用 Qwen3-VL-235B [bai2025qwen3] 这一强大的视觉语言模型（VLM），为通用帧、多源视频序列和机器人操作轨迹生成密集、结构化的标注。该流程由四个具有不同标注目标的解耦分支组成： 通用场景标注 所有涵盖通用视觉语料库和具身机器人序列的视频数据均无领域限制地进行处理。每个视频片段都经过时间下采样以选取高清晰度的关键帧。VLM 为每个采样帧生成整体描述，说明整体场景布局、物体交互以及物体间的空间关系。 结构化具身场景标注 标注仅针对具身操作数据执行。轨迹处理输出的分解子任务引导场景划分为五个正交语义维度：工作空间、任务对象、无关对象、光照和背景。根据任务相关性为每个维度生成独立描述，支持推理过程中的组合式推理和细粒度可控生成。 几何模态提取 通过 Video Depth Anything [chen2025videodepthanything] 为所有帧和视频提取时序一致的反向深度图，为跨域具身迁移任务提供几何条件信号。在该深度表示中，较亮像素对应较近表面，较暗像素对应较远区域，使模型能够在几何先验条件下合成逼真的 RGB 输出。 轨迹级子任务分解 如图 5 所示，HDBSCAN 聚类 [McInnes2017hdbscanHD] 利用末端执行器姿态和夹爪信号对机器人轨迹进行分割，以识别运动和抓取过渡边界。在这些边界处采样具有密集物理交互的关键帧，并发送至 VLM 生成带帧边界的时序对齐子任务计划。对具有丰富物理交互的过渡帧进行场景标注处理，为具身场景生成和具身迁移任务生成训练样本。 面向任务的数据组织 为支持小米机器人 U0 的三个训练目标，我们将所有标注数据重新组织为特定任务格式： 具身迁移。每个训练样本包含一条系统指令、一个场景描述和多视角深度图作为输入，以多视角 RGB 图像作为监督目标。该任务训练模型从几何线索中幻觉出逼真的外观。 场景生成。每个样本将一条系统指令与一个场景描述配对，以多视角 RGB 图像作为监督。该任务学习无需几何先验的文本到多视角场景合成。 视频生成。每个样本包含一条系统指令、一条任务指令以及一帧初始观测画面，并由 15–25 帧 RGB 图像序列进行监督。对于提供机器人动作标签的数据集，在初始观测帧之后还会额外附加一组根据机器人动作和 URDF 渲染出的机器人掩码图像，作为动作引导。该任务学习根据任务语义和初始上下文预测未来的视觉状态。 图 5：统一数据标注流程概览。上半部分展示了场景描述生成过程，每个样本都被标注了结构化的语义属性。下半部分展示了轨迹级别的子任务分解，包括基于动作的片段分割、关键帧采样以及子任务生成。该流程为异构机器人数据集提供了一致的场景、几何和动作层面的监督信号。 数据平衡 我们的训练语料包含异构的多领域数据，这容易导致领域偏差以及对主导数据分布的过拟合。我们采用基于数据领域和生成任务类型（多视角生成、场景编辑、单视角生成）的样本级重加权，核心目标是保持对机器人操作场景的全面覆盖。 具体来说，我们首先剔除无效的具身片段，包括视觉损坏、时间戳错位、缺少本体感知或动作信号、执行记录失败以及缺乏机器人-物体交互的静态轨迹。所有剩余样本均通过子任务和结构化场景标注产生的层级化标注进行分类。分组标准涵盖任务目标、场景上下文、目标物体、空间关系、子任务阶段以及原子化操作技能。 这种细粒度的分组方式比简单的数据集层级加权能够实现更精确的平衡：共享相同具身-任务-物体组合的冗余样本会被降采样，而包含新颖视觉场景、物体布局、操作技能或时间阶段的片段则会被优先处理。更高的采样权重被分配给长尾类别，包括稀有物体、不常用的操作技能以及核心交互阶段（抓取、释放、放置和物体状态转换）。由此产生的训练分布消除了冗余的重复演示，同时保留了多样化的视觉场景和全面的操作技能覆盖。 2.4 训练 为了在保留预训练图像生成模型原有视觉生成能力的同时，将其高效适配为统一的具身世界模型，我们采用了两种持续训练方案：单步训练和序列训练。 单步训练 该方案侧重于在保持原始图像生成能力的同时，使模型与多样化的单步生成任务对齐。我们联合训练了四个互补的数据集，包括文本到图像（T2I）、任意到图像（X2I）、具身场景生成和具身迁移。 T2I 和 X2I 数据集持续强化从预训练模型继承而来的通用视觉生成和图像编辑能力，防止在具身适配过程中出现灾难性遗忘。同时，具身场景生成教会模型根据机器人具身形态和场景描述，合成物理上合理的初始机器人观测结果；而具身迁移则实现了跨场景的多视角生成，能够保留机器人交互状态和相机几何结构。联合训练这些任务，可以在统一的回归目标下，有效地将视觉生成先验与具身场景理解对齐。 序列训练 序列训练将模型扩展到长程具身推理和交互建模。 我们首先引入了图文交错的子任务-子目标序列，其中每个由语言描述的子任务都与执行后对应的多视角观测结果配对。这种数据格式教会模型在预测未来具身观测结果的同时，对任务分解进行推理，从而进一步对齐从基础模型继承而来的序列建模能力。 为了增强动态交互建模，我们还额外纳入了从 InternData-A1 [tian2026interndata]、GenieSim [yin2026geniesim30]、AgiBotWorld-Beta [bu2025agibot]、RoboCOIN [wu2025robocoin] 和 RoboMIND [wu2024robomind] 收集的大规模具身操作视频。与传统的低帧率轨迹数据集不同，我们构建了帧率（FPS）分别为 1、3 和 5 的多帧率视频序列。稀疏序列有助于长期规划与未来预测，而更密集的序列则使模型能够捕捉细粒度的操作动态和连续的交互过程。在多个时间分辨率上进行训练，显著提升了模型在统一的自回归框架内，同时对高层任务进展和低层具身动态进行建模的能力。 2.5 推理 为了进一步加速推理，我们为小米机器人-U0 引入了一个 FlashAR+ 扩展。该扩展保持了对参考图像及其他输入信号的条件建模不变，同时仅对最终的目标图像区域应用并行自回归生成。此设计旨在保留小米机器人-U0 的多源条件建模能力，并降低 X2I 推理过程中的串行解码成本。 2.5.1 FlashAR+ 扩展 FlashAR 基线 FlashAR [zhou2026flasharefficientposttrainingacceleration] 提出了一种面向自回归文生图的后训练与推理加速范式。其核心思想是在保留原始模型生成能力的同时，引入额外的垂直预测，使得图像 token 能够沿反对角线分组并行生成。这减少了图像区域中串行解码步骤的数量。受 FlashAR 启发，我们在小米机器人-U0 之上进行了 FlashAR+ 后训练，将其从单图 T2I 生成扩展到更广泛的 X2I 场景，并将得到的模型用于小米机器人-U0 中的 X2I 推理加速。图 6(a) 展示了 FlashAR+ 扩展的解码步骤。 在小米机器人-U0 中，X2I 涵盖了 T2I、I2I 以及多参考图像生成等任务。输入条件可能包括文本指令以及一张或多张参考图像。 (a) 对角步骤调度。 (b) 前缀条件化的步骤因果掩码。 图 6：面向 X2I 生成的小米机器人-U0 FlashAR+ 扩展。目标图像 token 按对角步骤分组，同时所有输入条件保留在前缀中，目标图像则使用步骤因果注意力掩码生成。 FlashAR+ 掩码与注意力 与标准自回归生成相比，小米机器人-U0 FlashAR+ 扩展引入了表 1 总结的关键变化。 媒体内容 · 前往原文查看 表 1：标准自回归生成与小米机器人-U0 FlashAR+ 扩展的对比。 方面 标准自回归 小米机器人-U0 FlashAR+ 扩展 效果 目标图像生成 按光栅顺序逐 token 串行生成 在目标图像中按反对角线步骤并行生成 减少串行解码步骤 目标图像注意力 标准一维因果注意力 条件前缀可见；目标图像内部使用二维步骤因果注意力 防止信息泄露 预测头 单个自回归预测头 水平头、垂直头与门控融合 支持反对角线生成 方向辅助损失 标准监督 引入 H/V 损失约束 约束两个方向头 在训练过程中，FlashAR+ 扩展在数据解析阶段识别图像块并定义目标图像。所有前置内容，包括文本指令、参考图像、控制条件以及目标图像头部，均被视为条件前缀。并行自回归损失仅针对目标图像区域计算，而参考图像仅作为条件上下文。这防止了参考图像被错误地作为生成目标进行监督，并确保模型学会从多源条件生成目标图像。 注意力约束也仅限于目标图像区域，如图 6(b) 所示。条件前缀保持标准的自回归可见性。目标图像 token 可以关注整个条件前缀，但在目标图像内部，它们只能关注来自更早反斜线步骤的 token。对于目标网格位置，其并行步骤定义为；同一步骤内的 token 彼此不可见，这防止了并行生成过程中的信息泄露。参考图像、文本 token 和控制 token 不参与目标图像内部的反斜线掩码构建，从而保留了 X2I 条件的语义完整性。 此约束可表示为目标图像内的一个可见性函数。对于目标图像的查询 token 和键 token， FlashAR+ 损失 小米机器人 U0 FlashAR+ 扩展引入了对方向性辅助监督的关键调整。我们将水平辅助损失权重与垂直辅助损失权重进行匹配： 此处， 是经过 H/V 门控融合后的目标图像预测损失， 和 分别监督水平头和垂直头， 是 AR 蒸馏项。对于目标位置 ，令 和 表示来自水平头和垂直头的 logits，令 表示门控值。融合后的 logits 为 对应的融合损失为 方向性辅助损失函数使用相同的目标 token 分别监督 和 。H 头也需要适应目标区域的分布。如果 ，H 头可能无法充分收敛，H/V 门控在后续训练阶段可能向 H 分支坍缩。当门控坍缩到训练不足的 H 头时，融合预测退化为不稳定的单方向预测，继续训练会导致生成质量下降。显式添加 可以监督 H 头并稳定 H/V 融合。 小米机器人-U0 FlashAR+ 推理 在推理过程中，小米机器人-U0 首先将文本指令和参考图像编码为条件前缀，后接目标图像头部。然后，模型仅在目标图像网格上进行反对角线生成：位置按照 的递增顺序逐步生成，同一 步内的所有位置并行采样。边界位置使用可用的单方向预测，而内部位置使用 H/V 门控融合。 该过程保留了多源条件施加的约束，同时将图像区域并行解码扩展到小米机器人-U0 FlashAR 扩展推理。因此，模型在保持任意到图像条件生成能力的同时，降低了目标图像区域的串行生成成本。 图 7：AR、FlashAR+ 和 FlashAR+ 结合 vLLM 的定性与效率对比。FlashAR+ 在实体迁移和实体场景生成上保持高视觉质量，同时显著降低生成延迟。 2.5.2 vLLM 集成 为了进一步提升小米机器人-U0 的图像生成效率，我们在 FlashAR+ 基础上集成了 vLLM。该实现保持 FlashAR+ 的解码规则不变：vLLM 处理条件前缀、批量执行和分页 KV 缓存管理，而对角线调度器发出每个反对角线步骤的视觉 token，并同步用于无分类器引导的成对条件请求和无条件请求。 如图7所示，加速路径在具身任务上保持了高生成质量。在单块H20 GPU上进行指定分辨率的文生图（T2I）生成时，标准自回归（AR）模型每张图像耗时450.77秒。FlashAR+将该延迟降低至每张图像16.56秒，相比AR实现了加速；而FlashAR+结合vLLM，在max_num_seq=28的设置下，进一步将延迟降低至每张图像5.44秒，相比FlashAR+实现了额外的加速。 3 实验 我们的模型统一了具身迁移、具身场景生成和具身视频生成，同时保留了通用的图像编辑与生成能力。本节展示了我们在具身迁移和场景生成任务上的基准测试结果与定性结果，这些结果在人工评估中优于GPT-Image-2.0。具体而言，我们的具身迁移方法在保持几何一致性的同时，显著增强了机器人轨迹的多样性，将成功率从36.9%提升至63.2%。我们进一步通过在Geneval和ImageEdit基准上的评估，验证了模型通用的图像生成能力，确认我们的方法保持了领先的通用图像生成性能。在具身视频生成方面，我们的模型在World Arena基准上取得了最先进的结果。该模型还展现出对自合成初始场景的强大泛化能力，从而构建了一个闭环数据引擎，能够基于任意场景描述和机器人指令生成无限视频。 3.1 具身迁移 基准与协议 为了评估具身迁移能力，我们构建了一个包含 300 个样本的基准测试集，每个样本由一段文本场景描述和一组多视角深度图组成；模型需要根据描述，合成出多视角一致的、关于所描述机器人操作场景的 RGB 图像。此外，每个样本还提供了来自原始数据集的多视角 RGB 参考图像。这些参考图像与（编辑后的）场景描述并不完全对应，但它们捕捉了深度信息之外的结构信息，并用于计算基准测试指标。由于深度图来自与训练集相同的领域，我们特意编辑了部分场景描述，使其要求生成训练数据中不存在的内容，从而测试模型的通用生成能力，而非仅仅是重建能力。根据编辑后的描述与原始场景的偏离程度，我们将基准测试集分为 150 个简单样本（描述与底层场景接近）和 150 个困难样本（描述需要大量新颖内容）。我们与强大的图像生成模型 GPT-Image-2 进行了对比。 指标 我们从三个互补维度评估生成质量，所有指标均基于参考视图计算。在深度一致性方面，我们使用共享估计器从生成图像和参考图像中提取单目深度，并报告 SI-RMSE（尺度不变 RMSE）、（相对深度误差低于 的像素比例）和 AbsRel（绝对相对误差）；这些指标衡量生成图像在多大程度上忠实于输入深度所施加的 3D 几何结构。在结构保真度方面，我们计算 Canny 边缘 F1、精确率和召回率（），以捕捉生成布局是否保留了场景的精细轮廓。在语义对齐方面，我们运行开放词汇检测与分割，并报告分割 mIoU 和召回率（），反映所描述的物体是否被正确合成并定位。如表 2 所示，Xiaomi-Robotics-U0 在 Easy 和 Hard 两个子集上的所有指标均大幅优于 GPT-Image-2，表明其对输入几何结构的遵循程度显著更高，与场景描述的语义对齐也更紧密。 媒体内容 · 前往原文查看 表 2：具身迁移基准上的客观指标。括号内的数值表示 Xiaomi-Robotics-U0 相对于 GPT-Image-2 在同一子集上的变化（符号指向实际值；对于 指标，数值越低越好；对于 指标，数值越高越好）。 指标 GPT-Image-2 Xiaomi-Robotics-U0（我们的方法） Easy Hard Easy Hard 深度 SI-RMSE () 0.4007 0.3444 0.1407 (0.260) 0.1435 (0.201) 深度 () 0.5307 0.5340 0.8017 (0.271) 0.7846 (0.251) 深度 AbsRel () 0.4350 0.4045 0.1647 (0.270) 0.1702 (0.234) Canny F1 () 0.0519 0.0507 0.2066 (0.155) 0.1815 (0.131) Canny 精确率 () 0.0560 0.0536 0.2037 (0.148) 0.1770 (0.123) Canny 召回率 () 0.0572 0.0582 0.2290 (0.172) 0.2176 (0.159) 分割 mIoU () 0.4105 0.4098 0.7621 (0.352) 0.7436 (0.334) 分割召回率 () 0.6208 0.6524 0.8136 (0.193) 0.8032 (0.151) 图 8：具身迁移的定性结果。对于每个示例，我们展示了场景描述、从中提取深度条件的原始多视角 RGB 图像，以及由小米机器人-U0 生成的图像。从原始图像出发，我们估计其多视角深度图并编辑场景描述（编辑后的文本以高亮显示）；然后将深度图与编辑后的描述一起输入小米机器人-U0，该模型合成出既符合编辑后文本又符合输入几何结构的多视角一致 RGB 图像。 定性结果 图 8 展示了具身迁移的定性示例。对于每个示例，我们展示了场景描述、来自源数据集的原始多视角 RGB 图像，以及由小米机器人-U0 生成的图像。我们的流程首先从原始图像估计多视角深度图，然后编辑场景描述——编辑后的部分以高亮显示——以要求生成与原始场景不同的内容；提取的深度图和编辑后的描述被共同输入模型进行生成。在多种场景下，无论场景描述是自然语言形式还是结构化形式，小米机器人-U0 都能忠实遵循编辑后的文本描述和多视角深度条件，正确渲染所描述的物体、光照和背景，同时尊重每个视角的空间几何结构。关键在于，生成的各个视角在物体身份、外观和布局上保持相互一致，这表明我们的统一模型能够生成连贯的多视角场景，而非各自合理但相互冲突的图像。 图 9：GPT-Image-2 与小米机器人-U0 在具身迁移基准上的定性对比。GPT-Image-2 生成了看似合理且对齐良好的图像，但违反了输入的深度条件，并产生了多视角不一致的结果；而小米机器人-U0 则遵循每个视角的几何结构，并保持各视角之间的相互一致性。 我们进一步在图9中将Xiaomi-Robotics-U0与GPT-Image-2进行了对比，使用了源数据集中的三个样本，每个样本展示了场景描述、输入的多视图深度图以及两个模型的输出。GPT-Image-2生成的图像在视觉上具有吸引力，且文本与图像的对齐效果很强：描述中的物体、材质、光照和背景都呈现得较为合理，单独看每个视角都令人信服。然而，它对输入几何结构和跨视角关系的理解较差。其输出经常违反深度条件——物体被放置在不一致的距离上，表面发生扭曲，整体空间布局偏离了给定的几何结构——这反映在其较高的SI-RMSE值和较低的表格2指标上。此外，为同一场景生成的各个视角在很大程度上是相互独立的：物体身份、姿态和排列无法在不同视角间保持一致，因此三张图像并不对应一个连贯的单一3D场景。相比之下，Xiaomi-Robotics-U0忠实遵循了每个视角的深度信息，同时保持了多视图输出之间的相互一致性，这表明它不仅具备GPT-Image-2那样强大的文本跟随能力，而且真正将生成过程植根于输入的几何结构之中。 零样本数据增强 超越基准评估，我们利用小米机器人-U0的结构化文本到图像能力，来增强为四个真实世界任务（整理盒子、折叠毛巾、整理手机、整理耳机）收集的示范轨迹，旨在赋予下游策略更好的泛化能力以应对新场景。对于每条轨迹，我们提示一个视觉语言模型（Qwen3-VL），基于当前的深度图和原始场景描述，为除任务对象外的每个维度生成1000个多样化的替代方案，从而在背景、工作空间和光照方面鼓励最大程度的多样性。然后，我们随机组合这些按维度划分的描述，并将其输入小米机器人-U0进行生成。如图10和图11所示，生成的场景展现出丰富的多样性，并且这些组合均未出现在训练集中，这表明小米机器人-U0能够以零样本方式显著扩展所收集轨迹的视觉覆盖范围。 图10：利用小米机器人-U0的具身迁移能力，对多视角操作轨迹进行零样本增强的关键帧。我们使用Qwen3-VL为背景、工作空间和光照条件生成1000个描述，并随机替换原始条件。左侧面板为原始关键帧，右侧对应迁移后的关键帧。 图11：利用小米机器人-U0的具身迁移能力，对多视角操作轨迹进行零样本增强的关键帧的更多结果。 3.2 具身场景生成 图12：具身场景生成的定性结果。 图13：GPT-Image-2与小米机器人-U0在具身场景生成基准上的定性比较。 图14：具身迁移与具身场景生成的成对评估结果。 基准与协议 为了评估具身场景生成能力，我们利用大语言模型生成的场景提示词构建了一个专用基准测试。该基准测试包含 400 个样本，平均分为两个难度级别：200 个简单样本用于常规室内操作场景，200 个困难样本用于无约束的开放域场景。每个提示词指定了一种机械臂类型和结构化的场景描述，涵盖工作空间布局、物体配置、光照和背景。我们将小米机器人-U0 与 GPT-Image-2 作为基线进行比较。为确保公平比较，我们向 GPT-Image-2 提供了与每种目标机械臂类型对应的多视角参考图像作为视觉上下文。 基于人工的成对评估 量化跨视角几何一致性仍是一个未解决的挑战，因为目前没有自动化指标能够可靠地评估跨视角的全局三维连贯性。因此，我们采用人工成对偏好协议进行定量评估。标注者会看到小米机器人-U0 和 GPT-Image-2 的成对输出，这些输出以随机打乱的左右顺序呈现，以减轻位置偏好偏差。标注者根据两个标准选择更优结果：（1）多视角几何一致性，衡量具有不变物体位置、尺度和跨视角遮挡的统一三维布局；（2）文本指令遵循度，衡量与提示词中工作空间、物体、光照和背景的对齐程度。 图 14 报告了总体胜率。小米机器人-U0 在大多数比较中优于 GPT-Image-2，在多视角一致性方面取得了明显优势，同时保持了相当的指令遵循性能。图 13 的定性比较显示，GPT-Image-2 生成了高质量图像，但存在严重的跨视角几何不一致问题，不同视角下的物体位置、尺度和布局相互冲突。相比之下，小米机器人-U0 生成了几何一致的多视角观测结果，空间布局连贯，同时保持了照片级真实感。这验证了小米机器人-U0 能够同时实现高视觉保真度和稳健的跨视角一致性。 定性结果 图 12 展示了涵盖四种机械臂类型的定性结果。小米机器人 U0 模型能够针对多样化的场景提示词，生成具有照片级真实感且几何一致的多视角初始场景，展现出对任意文本描述的强泛化能力。这表明，我们的模型通过学习机械臂构型与相机投影之间的内在几何关系，将传统的单视角文本到图像合成扩展到了多视角机器人观测生成。值得注意的是，在评估的四种机械臂类型中，AGIBOT G2 仅使用模拟数据进行训练，但小米机器人 U0 模型仍能针对该特定机械臂类型生成与真实世界对齐的照片级真实感观测。这验证了该模型通过习得的真实世界视觉先验，在从模拟到现实的泛化方面具有良好潜力。 图 15：每个任务的阶段级进度可视化。每一行对应一个任务，每一列展示完成某个进度里程碑时的俯视图。对于“收纳耳机”任务，八个里程碑依次为：抓取充电盒、放入两只耳机、合上盖子并放置充电盒。对于“叠毛巾”任务，里程碑包括：拿起并展开毛巾、进行两次连续折叠、以及放置叠好的毛巾。对于“装箱”任务，里程碑涵盖四个抓取放置步骤，最后盖上箱盖。 3.3 真实世界实验 我们开展真实世界评估，以探究所提出的世界模型是否能够改善下游策略学习。具体而言，我们使用小米机器人 U0 模型来增强专家演示数据，并在一系列真实世界任务中，对比基于原始数据和增强数据训练得到的 VLA 策略。 任务套件 该基准测试包含三个真实世界的桌面操作任务：收纳耳机、叠毛巾和装箱，涵盖了灵巧操作、可变形物体处理以及多物体交互等多种挑战。每个任务由一条语言指令和一组有序的进度里程碑定义。图 15 可视化了每个任务的里程碑状态，为后文定义的进度指标提供了具体参考。 图 16：所有三个任务的任务布局。基础组针对每个任务改变物体布局。对于“收纳耳机”任务，不同布局会改变耳机盒与耳机的位置。对于“叠毛巾”任务，毛巾以随机配置初始化，这在左上角插图所示的左手腕视角中更为清晰。对于“装箱”任务，通过将四个物体随机放置在桌面上来生成新布局。干扰组采用相同的布局随机化方式，但额外引入了桌布和照明的显著变化。 图 17：按评估组划分的原始策略与小米机器人 U0 增强策略的任务完成进度对比。在分布内条件（基础组）下，小米机器人 U0 增强策略与原始策略表现相当，但在未见过的背景和光照条件（干扰组）下取得了显著更高的进度，从而形成了明确的整体优势。 策略训练与数据 对于上述套件中的每个任务，我们均从 pi05_base 检查点出发，使用其官方 PyTorch 实现，独立地对一个 [intelligence2025pi_0_5] 策略进行后训练。所有对比策略的训练设置保持一致；唯一的变量是监督微调的数据混合方式。对于每个任务，我们在下文描述的机器人平台上收集约 40 小时的真实世界演示数据，构成特定于任务的干净数据。为了构建增强数据，我们将具身场景生成流程（第 3.2 节）应用于干净演示数据，为每个任务生成约 40 小时的风格迁移片段，这些片段在视觉外观（背景、光照和纹理）上有所变化，同时保留原始的机器人状态和动作标签。我们比较了由此产生的两个每任务策略：原始策略仅在特定于任务的干净数据上进行后训练；小米机器人 U0 增强策略则在干净数据及其对应的风格迁移增强数据的混合数据上进行后训练。在机器人执行过程中未使用任何推理时的世界模型模块；世界模型仅通过后训练数据混合方式影响策略。 评估计划 为了在保持对比受控的前提下，评估超出原始演示分布之外的鲁棒性，我们在两组真实世界条件下评估每种策略：基础组和干扰组。每组包含每个任务的三种物体布局变体，两种策略均在相同的条件安排下进行评估。在基础组中，三种布局仅在物体放置位置上有所不同；背景使用演示数据中见过的桌布，场景在标准实验室光照条件下进行评估。在干扰组中，布局同样改变物体放置位置，但背景替换为演示数据中未出现过的、留出的桌布——通常具有更复杂的图案以及不同的纹理或表面反射率。干扰组还引入了留出的光照条件，包括低光、彩色光以及动态图案光照（如迪斯科球效果）。每个任务和组的完整评估布局集如图 16 所示。对于每种策略、每个任务、每个测试组和每种布局，我们运行三次独立的真实机器人试验。这样每个策略-任务对共产生 18 次试验（2 组 × 3 种布局 × 3 次试验）。 机器人设置 我们将所有训练好的策略部署在一个双臂 ARX 机器人平台上，该平台配备两条 6 自由度机械臂，每条机械臂均装有一个 1 自由度平行爪夹持器。每次策略查询时，观测信息包括当前本体感知的机械臂状态以及三个 RGB 视角：一个来自头部摄像头的头部视角，以及两个分别来自左腕和右腕摄像头的腕部视角。对于“收纳耳机”和“折叠毛巾”这两个任务，这些视角通过 Intel RealSense D405 摄像头采集；对于“装箱”任务，我们使用相同视角配置的鱼眼摄像头，以覆盖更大的装箱工作空间。鱼眼图像在使用前会进行去畸变处理，既作为策略输入，也作为 Xiaomi-Robotics-U0 数据增强的输入。在实际机器人评估过程中，策略运行在独立的推理服务器上，并通过局域网内的 WebSocket 连接与机器人控制进程通信。机器人以 1 Hz 的频率将当前机械臂状态和三个 RGB 视角传输给服务器，服务器返回一个动作片段，该片段被执行直至下一次查询。所有被比较的策略在观测流、通信栈和动作片段执行接口上均保持一致。 评估指标 我们仅使用任务完成进度作为评估指标。与仅评判完全成功不同，进度指标根据一次运行所完成的有序里程碑给予部分得分，这使得它更适合长时域操作任务——在这种任务中，策略可能可靠地完成早期子目标，却在后续阶段失败。具体来说，如果一个任务包含 个有序里程碑，且一次运行完成了前 个里程碑，则其进度为 ，其中 表示完全成功。对于任务 和组 ，被测试策略的报告进度定义为： 其中 是每个任务和组的运行次数（在我们的设置中为三种布局 × 三次试验）。Xiaomi-Robotics-U0-Aug 的进度得分更高，表明该世界模型提供了有用的训练后变化，从而在完全和部分完成的执行中均提升了实际环境中的鲁棒性。 实验结果 图 17 报告了两种策略的任务完成进度。在基础组中，测试条件与演示分布高度相似，Xiaomi-Robotics-U0-Aug 的表现与 Original 相当，仅在部分任务上略有下降——这是将训练容量与增强数据共享的预期结果，因为这些数据并未为分布内场景提供新信息。然而，在干扰组中，Xiaomi-Robotics-U0-Aug 在所有任务上均持续优于 Original，这表明风格迁移增强使模型对干净演示中未见的新背景和光照产生了视觉不变性。总体而言，分布偏移下的鲁棒性提升超过了分布内性能的轻微折损，这对于场景条件无法严格控制的现实世界部署尤为宝贵。 为定性说明这一差距，图 18 展示了 Xiaomi-Robotics-U0-Aug 在干扰条件下针对所有三项任务的代表性 rollout。尽管存在具有挑战性的扰动——未见过的桌布、彩色灯光和投影图案——Xiaomi-Robotics-U0-Aug 策略仍能执行预期的操作序列：在“收纳耳机”任务中同时放入两只耳机并合上充电盒，在“折叠毛巾”任务中完成完整的折叠序列，以及在“装箱”任务中在合上盖子前将所有四个物体装入箱中。 图 19 进一步展示了我们评估中出现的典型失败模式：(1) 在饱和光照下未能抓取耳机；(2) 错误识别耳机盒的方向；(3) 在视觉相似的桌布上未能定位毛巾边缘；(4) 因未能完全抓住布边而展开已折叠的毛巾；(5)(6) 试图抓取投影光斑而非目标物体。在严重受损的视觉观测下，两种策略偶尔都会表现出这些意外行为；然而，Xiaomi-Robotics-U0-Aug 更有可能在扰动下正确行动，或在短暂偏离后自我纠正。相比之下，Original 策略则更倾向于永久性地陷入视觉伪影，或以更高频率犯下不可恢复的错误。 图 18：小米机器人 U0 八月版在干扰场景下的 rollout 结果，任务依次为收纳耳机、折叠毛巾和装箱（从上到下）。在每个任务中，三行分别对应头部视角、左手腕视角和右手腕视角，帧画面沿轨迹采样。 图 19：各任务中的典型失败案例：（1）–（2）收纳耳机，（3）–（4）折叠毛巾，（5）–（6）装箱。 图 20：小米机器人 U0 的定性视频生成结果。 3.4 视频生成 WorldArena 具身世界模型的一个关键能力是作为数据引擎，能够从单张观测图像和对应的指令生成物理上合理且视觉质量高的视频。为了评估这种用于具身任务的视频生成能力，我们在 WorldArena [shang2026worldarena] 上对小米机器人-U0 进行了基准测试。给定初始帧以及语言指令和机器人动作，WorldArena 会从六个维度（视觉质量、运动质量、内容一致性、物理遵循度、3D 准确性和可控性）的 15 个指标对生成的视频进行评估。我们将此任务定义为处理交错的视觉-语言输入，并生成带有空语言 token 的多帧交错输出。初始帧与语言指令配对作为输入，同时输入一系列从机器人动作、相机参数和 URDF 渲染出的机器人掩码图像作为动作引导。定量结果报告于表 3 和图 21，定性可视化结果如图 22（第 1-5 行）所示。小米机器人-U0 取得了最佳的整体 EWMScore（73.64），在超过 100 个提交的模型中排名第一。在可控性方面，小米机器人-U0 在指令遵循（93.86）上得分最高，并在语义对齐上排名靠前，展示了其将语言指令转化为忠实视觉结果的强大能力。在物理遵循度方面，小米机器人-U0 在交互质量（87.30）上领先，表明它能捕捉到物理上合理的物体交互。小米机器人-U0 还在透视性（98.84）和运动平滑度（95.51）上取得了最佳成绩，反映了准确的 3D 视角几何和时序稳定的运动。总体而言，小米机器人-U0 在所有评估维度上取得了最佳平衡，证实了其作为具身任务数据引擎的有效性。 具身视频生成 在模拟的 WorldArena 基准测试之外，我们进一步利用小米机器人 U0 的场景生成能力来生成新颖的初始帧，并随后根据语言指令生成视频。代表性示例如图 20 所示。在第一行中，机械臂正确与杯子交互——抓取它、提起它，并将其稳定放置在桌面上，展示了精确的接触建模。在第二行中，除了正确的桌面操作外，模型还通过模拟一个人走向桌子观察机器人操作来渲染动态背景变化，表明其意识到了超出当前任务的场景级动态。在第三行中，模型忠实地模拟了可变形物体（一张纸）的物理特性：纸张在被拿起和放下时真实地弯曲，并且在横向移动时由于质量较轻而表现出轻微滞后，反映了对材料相关物理属性的理解。更多可视化结果见图 22。 图 21：WorldArena 排行榜（2026 年 7 月 13 日）。UNIS 是小米机器人 U0 的匿名评估代号。 媒体内容 · 前往原文查看 表 3：WorldArena 各维度得分及总体 EWMScore。每列最佳得分以粗体显示。 小米机器人 U0 SisyphusWorld BWM-Fast SACWM DexWorldEngine 视觉质量 图像质量 53.94 45.57 51.22 45.83 51.44 美学质量 40.79 38.38 40.15 37.30 40.96 JEPA 相似度 90.60 96.58 97.87 96.26 86.71 运动质量 动态程度 73.70 76.27 69.58 70.35 69.16 光流得分 86.02 99.82 75.11 95.79 74.31 运动平滑度 95.51 91.42 94.33 90.60 94.27 内容一致性 主体一致性 79.05 82.11 81.42 82.17 81.46 背景一致性 86.44 86.52 90.17 87.90 88.85 光度一致性 2.13 5.69 3.08 6.50 4.42 物理遵循度 交互质量 87.30 71.98 79.88 72.28 81.04 轨迹精度 41.89 44.58 44.89 46.95 51.41 3D 精度 深度精度 85.25 94.85 86.41 94.99 86.19 透视性 98.84 90.34 97.14 92.34 97.58 可控性 指令遵循 93.86 82.68 90.22 81.66 92.62 语义对齐 89.35 89.18 89.15 89.16 89.45 EWMScore () 73.64 73.06 72.71 72.67 72.66 3.5 文生图与图像编辑基准测试 我们在通用文生图和图像编辑基准上评估了自回归模型 Xiaomi-Robotics-U0。本次评估的目的并非宣称 Xiaomi-Robotics-U0 是一款专用的开放域图像生成器，而是量化该模型在向具身场景合成适配后，保留了多少通用图像生成与编辑能力。我们使用 GenEval [ghosh2023geneval] 进行组合式文生图评估，并使用 ImgEdit [ye2026imgedit] Basic 进行单轮图像编辑评估。 媒体内容 · 前往原文查看 表 4：文生图与图像编辑基准对比，含类别级细分。GenEval 分数采用 0–1 分制，ImgEdit 分数采用 1–5 分裁判制。 模型 总体 单物体 双物体 计数 颜色 位置 属性绑定 Qwen-Image 0.87 0.99 0.92 0.89 0.88 0.76 0.77 Xiaomi-Robotics-U0-AR 0.74 0.99 0.92 0.49 0.88 0.60 0.53 模型 总体 添加 调整 提取 替换 移除 背景 风格 混合 动作 Qwen-Image 4.27 4.38 4.16 3.43 4.66 4.14 4.38 4.81 3.82 4.69 Xiaomi-Robotics-U0-AR 4.08 4.21 4.15 3.28 4.35 4.21 4.03 4.72 3.27 4.53 如表 4 所示，Xiaomi-Robotics-U0 在经历具身后训练后，仍保留了强大的通用文生图和图像编辑能力。它在大多数面向外观的生成任务和局部编辑任务上表现具有竞争力。性能下降主要局限于需要多约束组合、精确空间定位或符号绑定的高度复杂场景。 表 4 表明，Xiaomi-Robotics-U0 在具身后训练后仍保留了稳健的通用文生图和图像编辑能力。虽然在高度复杂的案例中（例如多约束组合或精确空间对齐）略逊于 Qwen-Image，但 Xiaomi-Robotics-U0 在常见图像生成和局部编辑指令上保持了高度可比的表现，未出现灾难性遗忘。 4 相关工作 4.1 基础生成模型与具身世界模型 近年来，基础生成模型取得了飞速发展，从图像合成演进到统一的多模态世界建模。大规模图像生成与多模态生成模型，包括 Stable Diffusion [blattmann2023stable]、FLUX [labs2025flux1kontextflowmatching]、GPT-Image-2.0 [openai_gptimage_2025]、Show-o [xie2025show]、Janus [wu2025janus]、Janus-Pro [chen2025janus]、Chameleon [team2024chameleon]、BAGEL [deng2025emerging] 以及 EMU3.5 [cui2025emu3]，已在语义理解、指令遵循、组合推理和可控视觉生成方面展现出卓越能力。更近期，基础视频与世界模型，例如 Genie [bruce2024genie]、Genie2 [parkerholder2024genie2]、Sora [openai2024sora]、MovieGen [polyak2024movie]、Wan [wan2025wan] 和 Cosmos [agarwal2026cosmos]，进一步将生成能力从静态图像拓展至长时视频与交互式世界模拟，能够在统一的自回归或扩散框架下实现对未来观测的连贯预测。尽管这些模型具备令人印象深刻的泛化能力，但它们是为通用视觉内容而设计的，并未显式地对具身操作所需的几何约束、机器人本体、标定相机系统或物理交互动力学进行建模。 为弥合这一差距，近期具身世界模型通过将基础模型适配至操作轨迹与机器人视频，引入了以机器人为中心的世界建模方法。代表性方法包括 Dreamer 系列 [hafner2019dream]、世界动作模型（WAMs）[yuan2026fast, ye2026gigaworld, li2026causal, team2026motubrain]、DreamZero [ye2026world] 以及 Qwen-RobotWorld [zhang2026qwen]，这些方法通过学习未来观测的预测模型，用于规划、仿真或策略学习。尽管这些方法显著推进了具身预测，但它们通常仅使用机器人数据集进行优化，而此类数据集的规模与多样性仍远小于基础生成模型所使用的数据。因此，持续适配往往牺牲了从基础预训练中继承的部分语义丰富性、可控性与视觉多样性。相比之下，我们的工作将具身生成视为基础图像与视频生成的自然延伸。我们并非将基础模型专门用于机器人轨迹，而是在统一的自回归框架内联合优化通用域生成与具身合成，在保留原有生成能力的同时，获取以机器人为中心的几何推理与交互建模能力。 4.2 可控多视角具身生成 近期可控图像生成与图像编辑领域的进展，通过指令引导合成与参考条件编辑，显著提升了语义操控能力。代表性方法包括 InstructPix2Pix [brooks2023instructpix2pix]、AnyDoor [chen2024anydoor]、OmniGen [xiao2025omnigen]、GPT-Image-2.0 [openai_gptimage_2025] 以及 FLUX Kontext [labs2025flux1kontextflowmatching]，这些方法在保持强指令遵循与语义一致性的同时，实现了高质量编辑。然而，这些方法主要针对自然图像设计，且通常假设为单视角观测，因此难以直接应用于具身操作场景——在该场景中，多个标定相机、机器人本体及交互状态必须保持几何一致性。 与此同时，多视角生成在图像合成与 3D 内容创作领域日益受到关注。代表性方法包括 MVDream [shi2024mvdream]、SyncDreamer [liu2024syncdreamer]、Wonder3D [long2024wonder3d]、Era3D [li2024era3d]、Zero123++ [shi2023zero123++] 以及相关的多视角扩散模型 [gao2024cat3d, tang2024mvdiffusion++]，这些方法通过显式强制跨视角一致性来促进高质量 3D 重建与资产生成。然而，这些方法主要聚焦于以物体为中心的生成，并未明确考虑机器人本体、标定过的操作相机或交互感知的场景合成。 我们的工作通过将可控图像编辑、多视角具身场景生成以及具身迁移统一到一个自回归框架中，从而桥接了这两个研究方向。此外，我们引入了一种结构化控制公式，将工作空间布局、背景外观、前景无关物体、目标物体以及光照解耦为独立的控制维度，从而在保持机器人几何结构、本体约束和多视角一致性的同时，实现显著更丰富的具身场景变化。 4.3 具身视频生成与合成数据引擎 视频生成与具身世界模拟近年来在可扩展机器人学习领域日益重要。诸如 MovieGen [polyak2024movie]、Wan [wan2025wan]、Cosmos [agarwal2026cosmos]、Genie [bruce2024genie] 以及 Qwen-RobotWorld [zhang2026qwen] 等基础视频模型，在长程视频合成与未来观测预测方面展现了令人印象深刻的能力。与此同时，包括 Open X-Embodiment [o2024open]、RoboCasa [nasiriany2024robocasa]、ManiSkill [mu2021maniskill]、BridgeData V2 [walke2023bridgedata] 和 DROID [khazatsky2024droid] 在内的大规模机器人数据集与仿真平台，极大地加速了数据驱动的机器人学习发展。最近，诸如 RoboMIND [wu2024robomind]、RoboCoin [wu2025robocoin]、GenieSim [yin2026geniesim30]、InternA1 [tian2026interndata] 和 AgiBotWorld [bu2025agibot] 等具身视频数据集与合成数据管线，进一步探索了大规模具身视频生成与机器人数据增强。 尽管取得了这些进展，现有方法通常独立地合成孤立的图像、仿真资产或短时机器人视频，未能联合建模可控场景生成、具身迁移以及长程轨迹展开。相比之下，我们的工作将具身场景生成、具身迁移、交错子任务-子目标预测以及具身视频生成统一在单个自回归模型之中。通过在多个时间分辨率上联合学习具身视频，我们的模型既能捕捉长程任务进展，也能捕捉细粒度的交互动态，从而将基础世界模型转化为可扩展的具身数据引擎，用于下游策略学习与未来的智能体具身系统。 5 结论 在本报告中，我们介绍了小米机器人-U0，这是一个统一的具身合成模型，基于世界基础模型，通过对通用领域和具身数据集进行轻量级持续训练构建而成。小米机器人-U0 将文本到图像生成、图像编辑、多视角具身场景生成、具身迁移以及具身视频生成统一在单个自回归框架内，成功将基础模型的丰富视觉知识迁移至具身智能。据我们所知，小米机器人-U0 是首个同时支持高质量多视角具身生成和序列化具身视频生成的统一具身合成模型，也是首个引入结构化控制公式以实现可扩展具身数据生成的模型。大量实验表明，该模型在单步和序列化具身生成任务中均达到了最先进的性能，在人工评估中优于 GPT-Image-2.0，在 World Arena 基准测试上取得了最先进的结果，并通过生成的数据显著提升了下游机器人策略的鲁棒性。我们希望这项工作能为具身智能的可扩展智能体数据引擎提供一条切实可行的路径。 尽管结果令人鼓舞，但小米机器人-U0 仍存在若干局限性。首先，具身迁移仍然依赖深度估计作为中间表示，这可能会引入偶发的伪影，并限制对物体纹理和局部外观的精细控制。未来的工作将探索直接在原始观测上进行具身多视角图像编辑。其次，具身场景生成和视频生成是分开进行的，这使得长程推演容易受到累积误差的影响；联合生成场景及后续视频是一个有前景的方向。最后，当前 32K 的上下文窗口限制了长时长视频的建模能力，将模型扩展到更长的上下文将能够实现分钟级的具身交互生成。 贡献者 ∗核心贡献者，按名字字母顺序排列 ∗∗外部贡献者 李星航 郭军∗ 李奇伟∗ 赖航∗ 钱龙∗ 王悦泽∗ 孙楠∗ 闫鸿宇∗ 曲金根 贾松 曹佳航 赵涵野 王鹤云 王蕴红 贾松 夏草雨 赵杰克 训练： 郭军* 李奇伟* 钱龙* 王悦泽* 曲金根 贾松 孙楠 闫宏宇 部署与实验： 曹佳航* 郭军* 赖航* 李奇伟* 钱龙* 贾松* 闫宏宇* 赵涵野* 刘富腾 彭万里 推理加速： 陈曦* 曲金根* 基础设施： 李星航* 曲金根 陈曦 高级负责人： 李杰森* 向迪云 叶杭军 曲恒 刘华平** 致谢 我们衷心感谢更广泛团队的大力支持，包括未在上方列出的成员：李江、赖志颖、西克新觉罗、李清怡、刘琦、刘雅云、夏军、邱峰、王东浩、侯燕、王东、周全云、何亮亮、刘佳欣、周康、蔡锐、毕硕雪、周颖超、马坤、周逸伟 图22：小米机器人-U0的定性视频生成结果。第1-5行：基于语言指令和初始观察条件的WorldArena基准测试样本。第6-10行：由小米机器人-U0生成的场景图像所生成的视频。每行展示了初始帧和语言指令，随后是预测的未来帧。 图23：具身迁移的定性结果。我们从原始场景中提取深度并修改描述，以生成新场景。 图24：具身场景生成结果。 图25：小米机器人-U0的文本到图像生成结果。 图26：小米机器人-U0的图像编辑结果。 参考文献