近期的基础图像与视频生成模型展现出强大的泛化能力与可控性,但其在具身场景中的直接应用受到多视角一致性、几何连贯性及机器人具身约束等要求的限制。现有方法通常利用有限的机器人数据对基础模型进行适配,往往牺牲了大规模预训练过程中获取的视觉知识。我们提出小米机器人-U0(Xiaomi-Robotics-U0),一个拥有380亿参数的多模态自回归模型,专为统一具身合成任务而设计。它将具身生成视为基础图像与视频生成的延伸,并联合优化了文生图、图像编辑、具身场景生成、具身迁移及具身视频生成等任务。这一统一框架在保留预训练世界基础模型泛化能力的同时,使其适配至具身场景。小米机器人-U0是首个支持跨多种机器人具身形态的高质量多视角场景生成模型,并引入了结构化、可控的具身迁移机制,可在保持多视角一致性与交互动态的前提下实现细粒度编辑。它在单步与序列生成任务上均取得了最先进成果,在具身场景生成与迁移的人工评估中超越GPT-Image-2.0,在具身视频生成的世界竞技场(World Arena)中排名第一,并将pi_0.5在具有挑战性的真实世界操控任务上的分布外成功率从36.9%提升至63.2%。这些结果表明,基础世界模型既能充当具身世界模型,也能作为具身智能的可扩展数据引擎。代码与模型检查点已发布于 https://robotics.xiaomi.com/xiaomi-robotics-u0.html。
小米发布Xiaomi-Robotics-U0:380亿参数多模态自回归模型统一具身合成
阅读原文· arxiv.org小米这个 38B 的统一具身生成模型,把图像、编辑、场景生成等全塞进一个框架,并在真实机器人操作任务上把 pi_0.5 的成功率从 36.9% 拉到 63.2%,做具身智能的值得认真看。
小米推出Xiaomi-Robotics-U0,一个380亿参数的多模态自回归模型,用于统一具身合成。该模型将具身生成视为基础图像与视频生成的延伸,联合优化文生图、图像编辑、具身场景生成、具身迁移及具身视频生成。它是首个支持跨多种机器人形态的高质量多视角场景生成模型,并引入结构化可控具身迁移。该模型在单步与序列生成任务上达到SOTA,在具身场景生成与迁移的人类评估中超越GPT-Image-2.0,在World Arena具身视频生成排名第一,并将pi_0.5在真实世界操控任务上的分布外成功率从36.9%提升至63.2%。代码与检查点已开源。
近期的基础图像与视频生成模型展现出强大的泛化能力与可控性,但其在具身场景中的直接应用受到多视角一致性、几何连贯性及机器人具身约束等要求的限制。现有方法通常利用有限的机器人数据对基础模型进行适配,往往牺牲了大规模预训练过程中获取的视觉知识。我们提出小米机器人-U0(Xiaomi-Robotics-U0),一个拥有380亿参数的多模态自回归模型,专为统一具身合成任务而设计。它将具身生成视为基础图像与视频生成的延伸,并联合优化了文生图、图像编辑、具身场景生成、具身迁移及具身视频生成等任务。这一统一框架在保留预训练世界基础模型泛化能力的同时,使其适配至具身场景。小米机器人-U0是首个支持跨多种机器人具身形态的高质量多视角场景生成模型,并引入了结构化、可控的具身迁移机制,可在保持多视角一致性与交互动态的前提下实现细粒度编辑。它在单步与序列生成任务上均取得了最先进成果,在具身场景生成与迁移的人工评估中超越GPT-Image-2.0,在具身视频生成的世界竞技场(World Arena)中排名第一,并将pi_0.5在具有挑战性的真实世界操控任务上的分布外成功率从36.9%提升至63.2%。这些结果表明,基础世界模型既能充当具身世界模型,也能作为具身智能的可扩展数据引擎。代码与模型检查点已发布于 https://robotics.xiaomi.com/xiaomi-robotics-u0.html。