# MolmoMotion：语言引导的3D运动预测模型 - 来源：Hugging Face：Blog（RSS） - 发布时间：2026-06-17 23:26 - AIHOT 分数：69 - AIHOT 标记：精选 - AIHOT 链接：https://aihot.virxact.com/items/cmqi8qht206mtslf0a4q8mkrb - 原文链接：https://huggingface.co/blog/allenai/molmomotion ## 精选理由 MolmoMotion把3D运动预测从模板化推到任意物体，百万级数据集和基准让研究门槛大降，做机器人和视频生成的值得认真看，但目前仍是研究阶段，离落地还有距离。 ## AI 摘要 MolmoMotion基于Molmo 2骨干网络，输入视频帧、物体上的3D点标记及文字动作指令（如“移动并旋转桌上放水果的木碗”），预测未来数秒内这些点的3D轨迹。提供两个变体：自回归的MolmoMotion-AR逐步预测坐标，流匹配的MolmoMotion-FM通过连续空间变换处理多可能性运动。同时发布MolmoMotion-1M数据集（含116万视频的3D点轨迹及动作描述）和PointMotionBench基准测试（2700个人工验证视频片段）。模型权重、数据集和基准测试均已开源。 ## 正文 机器在感知运动方面已经变得异常出色。给定一段视频，现代模型能够以极高的置信度追踪物体和点在场景中的移动方式。但感知本质上是回顾性的：它解释已经发生的运动。我们想要构建的许多系统和应用则需要向前看。一个伸手去拿杯子的机器人，必须在触碰到杯子之前就预判杯子将如何移动。一个视频生成器，如果要生成物理上合理的帧，就必须知道接下来什么样的真实运动会出现。 预测运动比观察运动更难，但在许多场景下也更有用。 这一理念正是我们今天发布的新运动预测模型 MolmoMotion 的动机。给定一个视频帧、物体上标记的 3D 点以及描述预期动作的书面指令（例如，“移动并旋转桌上装有水果的木碗”），MolmoMotion 会预测这些点在接下来几秒内将在 3D 空间中移动到的位置——其性能显著优于现有的预测方法。 给定 RGB 观测数据、物体上的一组查询点以及动作描述，MolmoMotion 会预测该物体未来的 3D 点轨迹。这些预测出的轨迹随后可用于驱动下游应用，例如机器人规划和轨迹条件视频生成。 除了模型，我们还发布了 MolmoMotion-1M，这是最大的、包含动作描述的 3D 点轨迹数据集，源自 116 万个视频。我们还发布了 PointMotionBench，这是一个经过人工验证的基准测试，旨在衡量以物体为中心的 3D 运动预测准确性，包含 2700 个视频片段。 我们发现，像 MolmoMotion 这样的运动预测模型在从机器人规划到可控视频生成等一系列下游任务中都能发挥作用。我们公开了模型权重、MolmoMotion-1M 数据集以及 PointMotionBench 基准测试，供社区研究、改进和定制。 MolmoMotion：内部机制 MolmoMotion 以一种精心设计且高效的方式表示运动：即作为世界空间中附着于物体的 3D 点，这种方式能够捕捉运动，而无需承担渲染完整视频的成本。我们选择它，是因为我们需要一种具备以下三个特性的通用运动表示： 类别无关：不依赖于人体、手部、刚体或任何其他固定类别的模板。 视角稳定：相同的物理运动应在不同相机和视角下保持一致表示。 可直接被需要推理物理运动的下游系统使用。 在我们考虑过的所有表示方法中，它是唯一满足上述全部三个条件的。一组稀疏的表面点可以描述刚性、铰接式以及（在一定限度内）可变形运动，而无需假设被移动物体的类型。由于这些点位于一个共享的世界坐标系中，它们的轨迹在相机运动和视角变化时保持稳定。同时，由于它们是三维空间中紧凑的显式轨迹，可以直接传递给机器人策略或视频生成模型等系统。 为了预测这些轨迹，MolmoMotion 使用 Molmo 2 作为其主干模型，使其能够将语言指令与图像中的物体和点关联起来。给定一段短视频历史、一个动作描述以及一组带有初始 3D 位置的查询点，该模型首先识别出所指代的物体、查询点以及指令所描述的运动。然后，它预测每个点未来的 3D 轨迹。 我们训练了 MolmoMotion 的两个变体： 自回归变体（MolmoMotion-AR）逐步预测未来的坐标。它将 3D 坐标表示为结构化文本，遵循视觉语言模型（VLM）使用的坐标式预测方法，并按时间顺序写出未来的轨迹。由于每个新坐标都基于已生成的轨迹进行条件预测，这有助于生成平滑的展开序列，并在未来路径明确时提供最强的准确性。 流匹配变体（MolmoMotion-FM）通过将噪声转化为运动来预测连续三维空间中的轨迹，这使得它在指令允许多种可能未来时，能更好地表示不确定性。 MolmoMotion 架构。Molmo 2 主干网络的共享输入包括：RGB 观测的图像 token、动作描述的文本 token，以及从 Molmo 2 视觉编码器采样的二维查询点特征 token。MolmoMotion-AR 对初始三维查询坐标进行编码，并将未来轨迹解码为量化坐标文本；而 MolmoMotion-FM 则直接在连续三维坐标空间中表示这些轨迹。 推出 MolmoMotion-1M 和 PointMotionBench 为了训练 MolmoMotion，我们需要此前不存在的数据：大规模视频，其中包含与特定物体关联的三维点轨迹，并配有动作描述。现有的三维轨迹数据集规模小且领域受限；虽然互联网视频具备我们期望 MolmoMotion 这类预测模型拥有的规模和多样性，但它们不包含三维标注。因此，我们构建了一条自动化流水线，能从无约束视频中提取与物体关联的三维轨迹。 给定输入视频及其动作描述，我们的标注流水线会生成以公制世界坐标表示的、与物体关联的三维点轨迹。（下图展示了每个阶段。）难点在于，来自无约束视频的原始轨迹存在噪声——深度和跟踪误差会导致点出现抖动和漂移——而且物体在视频的大部分时间里往往保持静止。为了让数据更可靠，我们过滤掉那些不与物体其余部分一致运动的点，对剩余轨迹进行平滑处理，并将每个片段分割到物体实际运动的时间窗口内。 大规模运行我们的流水线，产生了 MolmoMotion-1M——据我们所知，这是迄今为止规模最大的、包含动作描述且与物体关联的三维点轨迹数据集，涵盖 736 种运动类型和 5.6K 个不同物体。 我们的数据标注流程概览。给定一段动作事件的视频及其描述，我们首先定位运动物体并在其上采样查询点。然后，我们追踪物体上的密集二维点，将这些轨迹提升到共享的度量三维坐标系中，并利用物体级别的空间与时间一致性先验来过滤不可靠的轨迹。最后，我们在定位物体发生有意义运动的时段内对视频进行裁剪。 上方指令：“移动并旋转装有水果的木碗。” 下方指令：“在蓝色布料上滚动粘毛滚筒。” 上方指令：“一辆银色汽车沿着道路行驶并缓慢右转。” 下方指令：“一只火烈鸟在向右行走时将喙浸入水中。” 为了评估 MolmoMotion 的预测性能，我们还构建了 PointMotionBench，这是一个经过人工验证的、包含保留三维轨迹的基准测试集。它涵盖了 2700 个片段，涉及 111 个物体类别和 61 种运动类型，包括室内操作、第一人称视角的手物交互以及室外动态场景。对于每个片段，模型会获得当前观测、物体查询点和动作描述，并根据其预测的三维点轨迹与物体实际未来运动的匹配准确度进行评估。这为我们提供了一种直接的三维运动预测定量测试，而非仅仅依赖生成的轨迹点看起来是否合理。 实验与性能 我们从三个方面评估 MolmoMotion。首先，我们测试它是否比现有方法更准确地预测未来三维运动。其次，我们测试它所习得的运动知识是否有助于机器人执行操作任务。第三，我们测试同样的知识是否有助于引导生成视频中的运动。 三维运动预测 在 PointMotionBench 上，MolmoMotion 在我们测试的所有现有三维运动预测方法中表现最佳——包括像素空间视频生成器、参数化三维方法以及简单的匀速基线——并且跨越了多种物体、场景和动作类型。 MolmoMotion 能够预测多种物体和场景的运动方式，例如粘毛滚筒如何在布料上来回滚动、碗如何在桌面上滑动并旋转、火烈鸟如何一边向右行走一边将喙浸入水中，或者汽车如何在转弯时沿着道路行驶。在每种情况下，预测的路径都遵循了提供给 MolmoMotion 的指令，并且在我们基准测试中与真实运动轨迹保持极高的一致性。 下游评估：机器人规划 MolmoMotion 学到的运动知识应该能够从一个场景迁移到另一个场景——用人类的手拿起杯子和用机器人夹爪拿起杯子是截然不同的动作，但杯子本身在三维空间中遵循的路径是相似的。这使得 MolmoMotion 天然适用于机器人领域，因为机器人需要在移动物体之前规划好物体的运动方式。 在 DROID（一个包含真实世界机器人操作视频的大型开放数据集）上进行微调后，我们发现 MolmoMotion 能够针对广泛的机器人规划场景，预测不同物体、不同摄像机视角、不同场景和不同任务下的合理物体路径。 上方指令：“将布料从容器中取出。” 下方指令：“移动锅盖。” 在仿真环境中，基于 MolmoMotion 构建的控制策略在拾取与放置任务上的成功率为 76.3%，而基于 Molmo 2 的相同策略成功率为 56.0%——并且它的学习速度更快，在 10K 训练步数后达到 51%，而 Molmo 2 版本的最高水平仅为 19%。在真实机器人上（经过微调后），MolmoMotion 达到与 Molmo 2 基线在 12K 训练步数后相同的测试 L2 误差，仅需约 2K 步。 下游评估：视频生成 指令：“一只火烈鸟一边向右行走，一边将喙浸入水中。” 从上到下依次为：DaS + MolmoMotion、CogVideoX-5B 和 WAN-14B。 指令：“从桌子上拿起那个圆形的浅棕色盘子。” 从上到下依次为：DaS + MolmoMotion、CogVideoX-5B 和 WAN-14B。 MolmoMotion 预测的路径也可以引导视频生成。与其让图像到视频模型仅凭文本指令猜测运动，不如直接输入 MolmoMotion 的预测结果。这样生成的视频能更紧密地遵循要求的动作，尤其是对于提示词只能模糊描述的微小、精确动作而言。 指标数据也证实了这一点。当用于引导视频生成器时，MolmoMotion 在我们测量的全部五项运动相关指标上，均提升了基础模型的运动质量，并在其中四项指标上超越了一个规模大得多的图像到视频模型。 局限性与未来方向 MolmoMotion 是一个能力强大的模型，但仍存在一些局限性需要注意。它在训练过程中为每个物体使用八个查询点——这足以预测出有用的轨迹，但不足以密集地表示表面几何形状。这限制了模型处理复杂可变形运动的能力。 我们认为，预测——即预判世界中物体在运动之前将如何运动——与感知已有事物一样，是机器智能的基础。MolmoMotion 正是朝着这一方向迈出的一步：它是一种无需按类别预设模板、从普通视频中学习、并能跨物体类别泛化的 3D 运动预测模型，也是我们在 PointMotionBench 上测量过的最准确的 3D 运动预测器。我们预计，在机器人技术、视频及其他领域，将涌现出许多应用。 我们鼓励您下载权重、检查训练数据，并基于 PointMotionBench 评估我们的方法，来亲自尝试 MolmoMotion。