# Qwen-RobotWorld：具身智能体的无界世界

- 来源：Qwen：Blog Retrieval（API）
- 作者：QwenTeam
- 发布时间：2026-06-16 08:00
- AIHOT 分数：72
- AIHOT 标记：精选
- AIHOT 链接：https://aihot.virxact.com/items/cmqg5kvq2006gslnchk1ngslk
- 原文链接：https://qwen.ai/blog?id=qwen-robotworld

## 精选理由

具身智能的世界模型长期受限于单一形态，Qwen-RobotWorld用语言统一动作接口，把操作、驾驶、导航合训，多视角几何一致性和人类演示迁移是过去一年最扎实的落地信号，做机器人的别错过。

## AI 摘要

Qwen-RobotWorld以语言为统一动作接口，采用双流Multimodal Diffusion Transformer（MMDiT）架构，将Qwen2.5-VL作为动作编码器。在4个基准测试中取得顶尖成绩，统一20余种机器人形态，基于860万跨场景训练对和1300多项操作技能。语言接口标准化500多种动作类别，支持操作、自动驾驶、室内导航的联合训练。还支持Scene2Robot人类到机器人转移及2–4路多视角几何一致视频生成。

## 正文

论文 具身智能要求智能体在物理环境中进行感知、推理和行动。世界模型提供了一条可扩展的前进路径——但当前方法面临一个根本性矛盾。通用视频生成模型学习了丰富的视觉先验知识，但缺乏对具身物理规律的建模能力。领域特定的具身模型则针对单一场景定制，无法跨具身形态进行泛化。

Qwen-RobotWorld 通过将自然语言作为通用动作接口来弥合这一差距。像“拿起红色杯子放到架子上”这样一条简单指令，就隐式编码了完整的动作序列、目标状态和物理约束——无需任何机器人专属控制接口。这使得操作、自动驾驶和室内导航能够联合训练，每个领域的物理知识相互强化。

语言统一了动作空间：世界知识与具身知识在单一模型内相互增强，实现了跨场景、跨任务的物理泛化。

核心亮点#

在 4 项基准测试中达到顶尖水平

统一 20 多种机器人具身形态

860 万跨场景训练对

1300 多项操作技能

语言驱动的统一动作接口——自然语言将 20 多种机器人具身形态和 500 多个动作类别标准化为单一接口，实现跨场景联合训练 双流扩散世界模型——采用 MMDiT 架构，以 Qwen2.5-VL 作为动作编码器，深度融合语言理解与内化的物理世界知识 跨场景物理泛化——在 860 万视频-文本对下联合训练操作、驾驶、导航以及人机迁移任务 多视角几何一致生成——同步处理 2–4 路摄像头流，保持物体身份和运动轨迹的 3D 一致性

模型架构#

双流扩散世界模型#

Qwen-RobotWorld 采用双流多模态扩散 Transformer（MMDiT）架构：

理解流处理来自冻结的 Qwen2.5-VL 编码器的语义特征，表示语言动作 $a{t}$a t​。生成流处理来自视频兼容 VAE 的视觉潜变量，表示视觉状态 $s{t}$s t​。

两个流在每一层通过联合注意力机制进行交互，从而在整个去噪过程中实现双向跨模态融合。

使用多模态大语言模型（MLLM）作为动作编码器——而非T5或CLIP等轻量级编码器——具有两个关键优势：（1）深度语言理解能力能够准确地将复杂的组合式指令解析为精确的条件信号；（2）内化的世界知识（例如，机械臂是具有固定关节约束的刚体）隐式地约束了物理上合理的状态转换，从而防止了跨帧物体变形等常见故障模式。

Scene2Robot：从人类到机器人的迁移#

Scene2Robot实现了跨具身形态的视频编辑：通过一种多片段条件机制，将人类演示重新定向到14种机器人形态，其中联合注意力机制允许生成过程同时关注场景外观和机器人运动轨迹。这种能力既在训练期间充当数据扩展引擎，也能够在推理时实现从人类到机器人的迁移。

多视角几何一致性生成#

单摄像头观测不可避免地会遮挡关键的接触和空间细节。Qwen-RobotWorld能够生成2到4个同步的摄像头流——包括主视角、腕部视角和第三人称视角——并在所有视角中保持物体身份和运动的几何一致性。在训练期间，来自多个摄像头的同步帧在空间上被拼接成一个单一输入；模型同时生成所有视角，通过非对称3D旋转位置编码（RoPE）提供空间编码，注意力层则自然建立起跨视角的对应关系——无需任何架构修改。这种跨视角一致性进一步充当了几何正则化器，教会模型物体的形状、深度和空间布局。

数据：具身世界知识#

EWK数据集#

具身世界知识（EWK）数据集沿着四个互补的轴进行组织，每个轴针对一个不同的物理变化来源：

多具身形态——人类双手、7种机械臂配置、自我中心车辆、移动智能体，涵盖20余种不同的机器人型号。多任务——原子操作技能、长程组合任务、移动控制、动态/可变形交互，覆盖500多种动作类别。多场景——以真实世界为主，辅以仿真增强：厨房、车间、户外环境，以及用于下游VLA评估的光照真实仿真场景。多视角——主视角、腕部视角及同步多视角流（约160万条具身样本包含2-4个视角的拼接，总计600万条具身样本）。

查看详细数据集清单

数据集 具身形态 视角 贡献

操作类（约590万条样本）

EgoHOD、EPIC-Kitchens、Egocentric-10k 人类双手 自我中心视角 灵巧性与协调性先验

Bridge V2、RH20T、Droid 单臂夹爪 第三人称 + 腕部视角 交互基元

Robomind、RoboCoin 单臂/双臂、人形机器人 自我中心 + 第三人称视角 跨具身形态泛化

Agibot-World、Galaxea 单臂（夹爪 + 灵巧手） 同步自我中心 + 腕部 + 第三人称视角 时间一致性与多视角一致性

Qwen-Aloha（内部） 双臂夹爪 头部 + 双腕部视角 多视角抓取先验

ActionNet、OpenLoong 灵巧手 腕部 + 第三人称视角 细粒度灵巧操作

自动驾驶（约20万条样本）

Waymo、NVIDIA PhysicalAI-AD、Bench2Drive、Sekai 自我中心车辆 环视视角 大规模自我运动与多智能体动力学

室内导航（6000+个片段）

VLNVerse 移动智能体 自我中心视角 房间尺度空间推理

人机迁移

Scene2Robot（合成数据） 14种机器人形态 多视角 跨具身形态视频编辑

动作-语言映射#

构建通用世界模型的核心挑战在于表征的异构性：操作任务使用关节角度，驾驶任务使用转向指令，导航任务使用航向向量——每种任务都需要一个独立的模型。我们的动作-语言映射框架通过将所有动作信号投射到共享的自然语言空间来解决这一问题，使得来自Franka夹爪、自动驾驶车辆和导航智能体的视频都成为同一语言条件视频生成任务的实例。

一个分层的五级标注流水线确保了描述文本的质量和精度：

1

任务目标——高层意图，即状态之间应发生什么变化

2

动作细节 带有明确视角声明的时空轨迹

3

物理反馈 对环境产生的可观察后果

4

完整描述 用于精确预测的完整描述

5

简洁描述 用于简短任务级命令的关键要素

在训练过程中，完整描述和简洁描述以等概率进行采样，因此模型既能处理详细的轨迹规格说明，也能处理简短的任务级命令。

训练#

训练遵循从通用到专家的渐进式课程：

阶段 阶段 数据混合 目标

预训练 T2I / T2V / TI2V 联合 通用数据 构建基础视觉先验

人类交互 Ego4D、EPIC-Kitchen 等 抓取与工具使用先验

SFT 阶段 1：单视角操作 具身 + 通用联合训练 核心操作物理

阶段 2：多视角扩展 拓宽视角覆盖范围

阶段 3：多视角拼接 跨视角几何一致性

阶段 4：复杂跨域 长程与跨场景

在通用数据和人类交互视频（Ego4D、EPIC-Kitchen）上进行预训练，构建了广泛的视觉先验——T2I 任务专门锚定物体几何结构，并通过共享骨干网络迁移到视频生成中。随后，SFT 在四个阶段中逐步深化具身专业知识，同时每个批次中保留通用数据，确保两种能力共同提升而非相互取舍。

演示#

细粒度语言理解#

给定相同的初始帧，当单个关键词不同时，模型会生成在质量上截然不同的视频。它还能处理需要长程推理的复杂多步骤指令。

对比指令遵循：

左：拿起红色草莓

右：拿起黄色土豆

左：将笔放在木托盘上

右：将笔放在白纸上

左：将胶水递给那个人

右：将胶水放入笔筒

复杂多步骤指令：

依次拿起红色和黄色甜椒，从左到右放在桌子上

抓住黄蓝相间的叠块，将其放置在绿蓝相间的叠块上方

跨域泛化#

(A) 跨具身形态：

(B) 跨任务 × 跨环境：

(C) 多视角一致性：

(D) 零样本鲁棒性：

我们的方法

LVP

Cosmos2.5-14B

人到机器人的迁移#

Scene2Robot 机制能够保留人类演示中的任务意图（左侧），同时将动作适配到具体具身形态的运动学约束上（右侧）。

超越操作：驾驶与导航#

所学习的世界模型能够泛化到机器人操作之外的更广泛的移动场景。

自动驾驶。从 Bench2Drive、NVIDIA PhysicalAI-AD、Sekai 和 Waymo 生成的驾驶片段展示了连贯的场景动态和车辆行为。

室内导航。来自 VLNVerse 的以自我为中心的导航片段展示了该模型模拟在复杂室内环境中进行第一人称移动的能力。

从桌面操作到自动驾驶和室内导航——Qwen-RobotWorld 证明了一个统一的世界模型可以泛化到单一形态或场景类别之外。

我们在四个基准测试上，与通用视频生成模型（Sora2、Veo3、Wan2.6、Kling、LTX-2）和具身世界模型（Cosmos、LVP、GigaWorld、Vidar、Wow）进行了评估对比。

EWMBench

4.60

具身运动保真度

DreamGen

4.952

指令遵循与物理对齐

WorldModelBench

8.99

物理推理与指令遵循

PBench

0.804

物理行为评估

EWMBench

类型 模型 SceneC HSD Dyn nDTW 多样性 BLEU CLIP 逻辑 总体

通用 Veo3 0.842 0.213 0.193 0.161 0.022 0.214 0.897 0.947 3.49

Wan2.6 0.671 0.203 0.090 0.172 0.050 0.162 0.874 1.000 3.22

Kling 0.821 0.327 0.182 0.342 0.017 0.259 0.901 1.000 3.85

LTX-2 0.785 0.208 0.128 0.244 0.012 0.143 0.887 0.500 2.91

Sora2 0.853 0.281 0.349 0.275 0.031 0.247 0.910 0.947 3.89

具身 Cosmos 0.796 0.250 0.205 0.253 0.080 0.123 0.846 0.733 3.29

GigaWorld 0.871 0.305 0.085 0.278 0.028 0.205 0.887 0.900 3.56

LVP 0.880 0.425 0.043 0.623 0.009 0.218 0.900 0.952 4.05

Vidar 0.734 0.188 0.152 0.177 0.065 0.161 0.882 0.941 3.30

Wow 0.887 0.249 0.053 0.257 0.027 0.193 0.900 0.952 3.52

我们的模型 0.914 0.566 0.343 0.671 0.011 0.208 0.883 1.000 4.60

强大的运动保真度（HSD 0.566）、高场景一致性（0.914）以及完美的逻辑约束满足。

DreamGen Bench

模型 GR1-环境 PA GR1-环境 IF GR1-物体 PA GR1-物体 IF GR1-行为 PA GR1-行为 IF 总计

Cosmos-sft 0.709 0.655 0.775 0.720 0.649 0.621 4.129

LVP 0.810 0.772 0.745 0.829 0.713 0.889 4.758

Vidar 0.445 0.647 0.478 0.726 0.394 0.651 3.341

GigaWorld 0.621 0.933 0.500 0.852 0.426 0.884 4.216

Wow 0.793 0.826 0.755 0.849 0.809 0.696 4.728

我们的模型 0.828 0.793 0.840 0.878 0.781 0.832 4.952

强大的物体级组合泛化能力（GR1-Object IF: 0.878），且所有子集上的物理对齐表现一致。

WorldModelBench

类型 模型 指令遵循（0-3） 帧 温度 牛顿 质量 流体 穿透 重力 物理 总分

通用 Veo3 2.52 0.98 0.95 1.00 0.89 0.99 0.91 1.00 4.80 9.25

Wan2.6 2.50 0.99 0.95 1.00 0.89 0.99 0.94 1.00 4.83 9.27

Sora2 2.21 0.96 0.93 1.00 0.91 0.99 0.95 1.00 4.84 8.93

Kling 1.59 0.97 1.00 1.00 1.00 1.00 1.00 1.00 5.00 8.55

LTX-2 1.97 0.69 0.62 0.99 0.60 1.00 0.73 1.00 4.32 7.61

具身 Cosmos 2.14 1.00 0.94 1.00 0.92 1.00 0.94 1.00 4.86 8.94

LVP 2.01 0.89 0.91 1.00 0.93 0.99 0.95 1.00 4.87 8.67

GigaWorld 2.13 0.59 0.46 1.00 0.48 0.99 0.69 0.98 4.13 7.31

Vidar 1.62 0.54 0.45 1.00 0.56 1.00 0.85 1.00 4.40 7.01

Wow 2.05 0.76 0.65 1.00 0.65 0.99 0.81 1.00 4.45 7.91

我们的模型 2.33 0.87 0.85 1.00 1.00 1.00 0.94 1.00 4.94 8.99

在牛顿定律、质量守恒、流体动力学和重力方面均达到完美的物理遵循度（1.00），同时具备强大的指令遵循能力（2.33/3.0）。

PBench

类型 模型 图生视频-背景 图生视频-主体 美学 图像 背景一致性 运动 主体一致性 物体一致性 质量 领域 总体

通用 Veo3 0.975 0.980 0.526 0.698 0.938 0.994 0.927 0.128 0.771 0.882 0.827

Wan2.6 0.856 0.843 0.514 0.719 0.906 0.978 0.843 0.136 0.724 0.832 0.778

Sora2 0.981 0.973 0.487 0.672 0.961 0.994 0.954 0.129 0.769 0.841 0.805

Kling 0.982 0.979 0.521 0.699 0.920 0.990 0.927 0.124 0.768 0.874 0.821

LTX-2 0.948 0.955 0.506 0.622 0.932 0.986 0.904 0.118 0.746 0.845 0.796

具身 LVP 0.979 0.981 0.515 0.679 0.954 0.991 0.962 0.116 0.772 0.812 0.792

GigaWorld 0.957 0.944 0.495 0.641 0.925 0.984 0.892 0.128 0.746 0.841 0.794

Wow 0.967 0.957 0.517 0.689 0.941 0.980 0.929 0.111 0.761 0.786 0.774

Vidar 0.935 0.922 0.501 0.573 0.912 0.982 0.863 0.120 0.726 0.810 0.768

Cosmos 0.974 0.973 0.470 0.663 0.940 0.989 0.931 0.160 0.763 0.840 0.802

我们的模型 0.956 0.943 0.455 0.649 0.956 0.990 0.933 0.124 0.751 0.857 0.804

强大的领域理解能力（0.857）和运动平滑度（0.990），反映了在各类物理场景中一致的时间连贯性。

← 返回 Qwen-Robot Suite

如果您觉得我们的工作有帮助，欢迎引用我们。

@article{qwenrobot-world, title={Qwen-RobotWorld 技术报告：通过语言条件视频生成实现统一的具身世界建模}, author={Qwen Team}, year={2026}}