HuggingFace Daily Papers(社区热门论文)
精选
75AI 编辑部评分,满分 100

HumanScale:自我中心人类视频在具身预训练中可超越真实机器人数据

2026-06-18 08:00· 50天前
AI 导读

HumanScale项目比较了自我中心人类视频与遥操作真实机器人轨迹作为具身基础模型预训练数据源。经精心设计的过滤与标注流程后,基于自我中心数据预训练的模型在真实机器人动作预测上验证损失降低24%,分布内任务成功率高52.5%,分布外任务成功率高90%。研究验证了一种可扩展范式:先以人类视频预训练学习多样世界表征,再以少量标注机器人数据微调对齐动作空间。

推荐理由

让机器人看人类干活视频,预训练效果居然比直接用真实机器人数据更好,这个反直觉发现可能彻底改变具身智能的数据策略,做机器人的值得认真读一读。

正文 · AI 翻译

具身基础模型有望像大语言模型一样从数据规模扩展中受益,但面临更严重的数据瓶颈。遥操作真实机器人轨迹因其精确的动作监督和具身对齐能力,仍是主要的预训练数据来源,但其可扩展性受限于高昂的采集成本、获取难度以及较低的行为和环境多样性。这些局限性引发了学界对以自我中心人类视频作为可扩展、成本大幅降低且多样性更高的替代方案用于具身模型预训练的兴趣。然而,与遥操作真实机器人数据相比,其有效性尚未得到充分探索。为解答这一问题,我们在固定后训练和验证协议下,开展了一项系统性研究,比较自我中心人类视频与遥操作真实机器人轨迹作为具身基础模型预训练数据源的效果。令人惊讶的是,我们发现经过精心设计的过滤和标注流程处理后,自我中心数据不仅是模型预训练的可行替代方案,甚至能带来更优的性能。在相同预训练数据量下,基于自我中心数据预训练的模型在真实机器人动作预测任务上的验证损失降低了24%,在分布内和分布外真实机器人任务执行上的成功率分别提升了52.5%和90%。这一发现验证了具身基础模型的一种可扩展范式:先利用自我中心人类视频进行预训练以学习多样化的世界表征,再通过少量标注的真实机器人数据进行动作空间对齐的适配。我们希望这项研究能鼓励对自我中心数据的更广泛探索,并在昂贵机器人数据采集前为数据质量评估提供指导。

来源:HuggingFace Daily Papers(社区热门论文) · arxiv.org

HumanScale:自我中心人类视频在具身预训练中可超越真实机器人数据

HuggingFace Daily Papers(社区热门论文)·2026-06-18 08:00·50天前
AI 导读

HumanScale项目比较了自我中心人类视频与遥操作真实机器人轨迹作为具身基础模型预训练数据源。经精心设计的过滤与标注流程后,基于自我中心数据预训练的模型在真实机器人动作预测上验证损失降低24%,分布内任务成功率高52.5%,分布外任务成功率高90%。研究验证了一种可扩展范式:先以人类视频预训练学习多样世界表征,再以少量标注机器人数据微调对齐动作空间。

正文 · AI 翻译

具身基础模型有望像大语言模型一样从数据规模扩展中受益,但面临更严重的数据瓶颈。遥操作真实机器人轨迹因其精确的动作监督和具身对齐能力,仍是主要的预训练数据来源,但其可扩展性受限于高昂的采集成本、获取难度以及较低的行为和环境多样性。这些局限性引发了学界对以自我中心人类视频作为可扩展、成本大幅降低且多样性更高的替代方案用于具身模型预训练的兴趣。然而,与遥操作真实机器人数据相比,其有效性尚未得到充分探索。为解答这一问题,我们在固定后训练和验证协议下,开展了一项系统性研究,比较自我中心人类视频与遥操作真实机器人轨迹作为具身基础模型预训练数据源的效果。令人惊讶的是,我们发现经过精心设计的过滤和标注流程处理后,自我中心数据不仅是模型预训练的可行替代方案,甚至能带来更优的性能。在相同预训练数据量下,基于自我中心数据预训练的模型在真实机器人动作预测任务上的验证损失降低了24%,在分布内和分布外真实机器人任务执行上的成功率分别提升了52.5%和90%。这一发现验证了具身基础模型的一种可扩展范式:先利用自我中心人类视频进行预训练以学习多样化的世界表征,再通过少量标注的真实机器人数据进行动作空间对齐的适配。我们希望这项研究能鼓励对自我中心数据的更广泛探索,并在昂贵机器人数据采集前为数据质量评估提供指导。

来源:HuggingFace Daily Papers(社区热门论文)· arxiv.org