# Velox：学习4D几何与外观的表示

- 来源：Apple Machine Learning Research（RSS）
- 发布时间：2026-05-08 08:00
- AIHOT 分数：66
- AIHOT 标记：精选
- AIHOT 链接：https://aihot.virxact.com/items/cmoxbjykj00fhsllh5e7zljfh
- 原文链接：https://machinelearning.apple.com/research/velox

## 精选理由

苹果把动态点云的几何和外观塞进一个可压缩的latent space，思路干净但领域垂直，做3D视觉和AR的可以跟一下，其他人不用急着读。

## AI 摘要

Velox提出一个学习4D对象潜在表示的框架，该表示具备描述性、压缩性与易获取性。它仅需非结构化动态点云作为输入，通过编码器将时空彩色点云压缩为动态形状标记，并利用两个互补解码器进行监督：4D表面解码器建模随时间变化的表面分布以捕捉几何信息，高斯解码器则负责外观重建。该方法在保持高保真度的同时提升了下游任务的效率。

## 正文

作者：Anagh Malik†, Dorian Chan, Xiaoming Zhao, David B. Lindell†, Oncel Tuzel, Jen-Hao Rick Chang

我们提出了一种学习4D物体潜在表征的框架，该表征具有描述性，能够忠实捕捉物体几何形状与外观；具有压缩性，有助于提升下游任务效率；并且易于获取，仅需少量输入（即非结构化动态点云）即可构建。具体而言，Velox训练一个编码器，将时空彩色点云压缩为一组动态形状token。这些token通过两个互补的解码器进行监督：一个4D表面解码器，用于建模随时间变化的表面分布以捕捉几何形状；以及一个高斯解码器，将token映射为3D高斯体，有助于学习外观。为展示我们表征的实用性，我们在三个下游任务——视频到4D生成、3D追踪以及通过图像到4D生成进行布料模拟——上对其进行了评估，并在所有场景中均观察到强劲性能。

† 多伦多大学

相关阅读与更新。

DeepPRO：物体深度部分点云配准

我们考虑了在线实时配准从未知真实世界刚体物体获取的部分点云的问题，且无需事先知道其3D模型。该点云是部分的，因为它由深度传感器从特定视角仅捕捉物体的可见部分而获得。这带来了两个主要挑战：1）两个部分点云不完全重叠；2）当物体的可见部分……

VoxelNet：基于点云的3D物体检测端到端学习

2017年11月13日 研究领域 计算机视觉

在3D点云中准确检测物体是许多应用的核心问题，例如自主导航、家政机器人和增强/虚拟现实。为了将高度稀疏的激光雷达点云与区域提议网络（RPN）对接，现有大多数工作都集中在手工设计的特征表示上，例如鸟瞰投影。在这项工作中，我们消除了为3D……

探索机器学习领域的机遇。