# 蚂蚁集团 Robbyant 发布 LingBot-VA 2.0，首个原生具身基础模型

- 来源：MarkTechPost（RSS）
- 作者：Asif Razzaq
- 发布时间：2026-07-11 15:56
- AIHOT 分数：74
- AIHOT 标记：精选
- AIHOT 链接：https://aihot.virxact.com/items/cmrg3dsyt00g4iha7og0687tc
- 原文链接：https://www.marktechpost.com/2026/07/11/ant-groups-robbyant-unveils-lingbot-va-2-0

## 精选理由

具身智能领域第一个从零预训练的因果视频-动作模型，将世界状态和动作统一在一个隐空间，异步推理优化到 225Hz，做机器人的值得仔细研究。

## AI 摘要

蚂蚁集团旗下具身智能团队 Robbyant 发布 LingBot-VA 2.0，首个原生具身基础模型。该模型采用因果 DiT 架构，视频专家约 13.0B 参数（约 1.9B 激活），训练规模约 15.3B 参数，推理时每 token 约 2.5B 激活。模型引入多块预测（MCP）实现 2.3 倍训练加速，并通过前瞻推理将推理延迟降至 142 ms/chunk。在 RoboTwin 2.0 的 50 个任务上，干净与随机演示数据平均成功率分别达 93.8% 和 93.4%。

## 正文

蚂蚁集团旗下具身智能团队 Robbyant 发布了灵宝 VA 2.0，这是首个原生具身基础模型。该模型被描述为面向通用机器人操控的视频-动作基础模型。研究团队对整个技术栈进行了面向具身智能的预训练，而非对视频生成器进行微调。

什么是灵宝 VA 2.0？

大多数视频-动作模型会复用两个为数字内容创作而构建的组件：一个是面向重建的 VAE，另一个是双向视频扩散主干网络，并附加一个动作模块。

这带来了三个局限性：像素重建潜变量保留了外观信息，但携带的物理结构信息有限；对视频 token 进行迭代式去噪对于闭环控制而言速度过慢；通用的视频训练目标从未教会模型动作如何改变世界。

第四个不匹配是结构性的：主干网络使用双向注意力机制，而控制过程严格按时间正向展开。灵宝 VA 1.0 版本通过微调将该技术栈改造为因果模型，而 2.0 版本则原生预训练了一个因果 DiT。

https://github.com/Robbyant/lingbot-va/blob/main/LingBot_VA2_paper.pdf

版本一：语义视觉-动作分词器

基于上述动机，第一阶段替换了仅用于压缩的 VAE。遵循 RepWAM 的思路，该分词器在重建目标之外增加了两个训练目标。

语义对齐将视觉潜变量拉向一个冻结的感知编码器教师模型；潜变量-动作目标提取相邻潜变量之间的紧凑转移变量；逆动力学模型预测每个潜变量对应的动作；前向动力学模型将其解码为传输映射与残差。

世界状态与动作现在共享同一个潜空间。因此，无标注的网络视频也能携带与动作相关的监督信号。

版本二：带有稀疏 MoE 视频流的因果 DiT

在该潜空间之上，版本二预训练了一个因果 DiT。它保留了 1.0 版本的混合 Transformer 架构布局：一个视频专家与一个动作专家共享同一套因果自注意力机制，各自拥有独立的前馈通路。

两条流路的规模呈非对称扩展。视频专家将其密集的前馈网络替换为稀疏的 MoE 路由层。该层包含 128 个路由 SwiGLU 专家、top-8 路由机制以及一个共享专家。负载均衡采用无辅助损失的 Loss-Free Balancing 策略。动作专家则保持密集前馈网络，隐藏维度为 768。

视频主干网络参数约 130 亿，其中约 19 亿为激活参数。加上动作专家和 MCP 头，训练覆盖约 153 亿参数。推理时每个 token 约激活 25 亿参数。训练采用整流流目标函数，配合混合 Muon 加 AdamW 优化器。

训练信号从何而来

除了架构设计，两个目标函数塑造了模型的学习内容。

多块预测（MCP）解决了短视监督问题。教师强制方法仅监督下一个块，导致模型可通过复制外观来降低损失。MCP 附加了三个轻量级模块，用于预测后续三个块。在消融实验中，它在 2 万步内达到了基线模型 4.5 万步的准确率，实现了 2.3 倍的训练加速。

与此同时，五个目标函数采用联合训练而非分阶段训练：文本到图像、文本到视频、文本图像到视频动作、上下文学习以及人机协同训练。采样遵循从粗到细的调度策略，从外观基础学习逐步过渡到视频动作控制。保持所有目标函数活跃，可避免遗忘早期先验知识。

分层规划

块级控制无法对长期目标进行序列化编排。因此，在策略层之上设置了一个 VLM 规划器，该规划器采用冻结视觉塔的 LoRA 微调方案。它输出结构化的 JSON 数据：完成状态、指令、生成指令、局部场景描述。该规划器以约 2Hz 的频率运行，背后依托异步共享缓冲区。策略层在每个块边界读取该数据，因此规划器延迟不会阻塞执行。

前瞻推理

即便采用稀疏主干网络，部署时仍会遇到串行瓶颈。如果机器人等待，模型延迟就会变成控制延迟。

因此，前瞻推理将预测与执行作为异步流运行。当机器人执行块 a_t 时，视频专家会想象其执行结果。动作专家则据此解码出 a_{t+1}。

向前运行存在漂移风险。因此，每次观测返回的结果都会被编码到真实潜在变量 z_{t+1} 中，覆盖掉想象出来的那个。一个前向动力学接地损失函数负责训练视频专家以执行此角色。

# Pseudocode for the asynchronous rollout (Sec. 2.3.7, Eq. 29). # Not runnable: policy, executor and encode() are placeholders.

C = init_kv_cache(encode(obs_0)) # feedback-grounded cache C_t a = policy.action_expert(C) # cold start: first action chunk a_0

while not done: executor.start(a) # execution stream, non-blocking

C_tmp = C + [a] # prediction stream: C_t u {a_t} z_hat = policy.video_expert(C_tmp) # forward dynamics -> imagined z_{t+1} a_next = policy.action_expert(C_tmp + [z_hat])

obs = executor.wait() # real observation of a_t returns C = overwrite(C_tmp, z_hat, encode(obs)) # re-ground: z_hat <- true z_{t+1} a = a_next

性能表现

因此，评估涵盖了仿真环境和真实硬件。在 RoboTwin 2.0 上，每个模型都在 2,500 个干净演示和 25,000 个随机化演示上进行训练，涉及 50 个任务。

https://technology.robbyant.com/lingbot-va-v2

方法干净随机化平均

X-VLA72.972.872.9

π0.582.776.879.8

Motus88.787.087.9

LingBot-VA92.991.692.2

LingBot-VA 2.093.893.493.6

加速技术推理时间（毫秒/块）异步频率（Hz）

BF16 PyTorch 异步 rollout 基线92735

+ 一致性蒸馏46669

+ 低精度编译执行36987

+ 长程注意力优化272118

+ 运行时开销减少142225

蒸馏将视频采样器从 5 步减少到 2 步，将动作采样器从 10 步减少到 2 步。FP8 TensorRT 引擎、带有 FlashInfer 注意力的分页/不规则 KV 缓存，以及主机端开销的消除，提供了其余的性能提升。

# Reproduces Table 3 of the report exactly. Runnable as-is. K = 32 # low-level control steps inside one generated chunk

stack = [("BF16 PyTorch async rollout baseline", 927), ("+ Consistency distillation", 466), ("+ Low-precision compiled execution", 369), ("+ Long-horizon attention optimization", 272), ("+ Runtime overhead reduction", 142)]

for name, ms in stack: print(f"{name:40s} {ms:4d} ms {round(1000 / ms * K):4d} Hz")

print("end-to-end speedup:", round(927 / 142, 1), "x")

版本 1.0 与版本 2.0 对比

维度LingBot-VALingBot-VA 2.0

分词器Wan2.2 VAE（重建）语义视觉-动作分词器，96 个潜在通道

骨干网络来源从双向生成器微调而来从头预训练的因果 DiT

视频 FFN密集稀疏 MoE，128 个专家，top-8

额外监督未使用MCP、上下文学习、人机协同训练

推理异步执行，KV 缓存带有观测重接地的预见性推理

峰值异步控制版本 2.0 报告中未报告225 Hz

分词器消融实验单独列出了第一行。将 WAN2.2 VAE 替换为语义分词器，使一个 1.3B 模型从 78.0 提升到 86.6。

用例与示例

除了基准测试之外，有四种部署形态尤为突出。

少样本快速上手：报告指出，该模型可从 10 到 15 个演示中适应。实际评估中每个任务使用 20 个遥操作演示。一个多任务检查点覆盖了所有四个评估任务。

演示条件控制：上下文学习允许用人类演示视频替代文本指令。在四个已见任务上微调后，该策略执行了未见过的组合任务。一个例子是：“把葫芦放进绿色盘子里。”

廉价数据扩展：人机协同训练将手部姿态重新映射到机器人动作空间。每只手都成为一个虚拟平行夹爪。以自我为中心的语料库包含 6.54 万个片段。

反应式控制：演示包括空气曲棍球和传送带场景，其中策略能够预判移动中的物体。

关键要点

从头开始预训练一个因果视频动作 DiT，而非适配现有的视频生成器。

语义分词器将世界状态和潜在动作置于同一对齐空间中。

稀疏 MoE 视频流：约 153 亿参数中每个 token 激活约 25 亿参数。

前瞻推理将预测与执行重叠，并在每次真实观测时重新锚定。

分块延迟从 927 毫秒降至 142 毫秒；异步控制从 35 Hz 提升至 225 Hz。

交互式动态解释器