great to see RAE extending to video!
🚀 What if video generators could build on representations that already understand the visual world? We are excited to introduce V-RAE: Rethinking Video Latent ...
AI 导读
谢赛宁转发介绍 V-RAE，该模型直接采用冻结视觉基础模型（DINOv3、SigLIP2、EUPE、V-JEPA 2.1）的表征作为视频生成潜空间，而非传统 VAE 潜空间。在匹配设置下，V-RAE 在 Kinetics-600 上达 2.13 rFVD，UCF101 上 117.86 gFVD，收敛速度比 VAE 潜空间快 6 倍，并引入 tFVD 评估时序平滑度。
Saining Xie@sainingxie33
AI 编辑部评分，满分 100谢赛宁转发介绍 V-RAE，该模型直接采用冻结视觉基础模型（DINOv3、SigLIP2、EUPE、V-JEPA 2.1）的表征作为视频生成潜空间，而非传统 VAE 潜空间。在匹配设置下，V-RAE 在 Kinetics-600 上达 2.13 rFVD，UCF101 上 117.86 gFVD，收敛速度比 VAE 潜空间快 6 倍，并引入 tFVD 评估时序平滑度。
来源：Saining Xie· x.com