世界建模从来都不是关于渲染像素的。
渲染是局部的。世界状态是全局的。只要存在超过一个智能体,唯一真正重要的就是各个视角之下的共享表征。那种共享表征才能扩展为集体能力。
这就是为什么我无比兴奋地分享 Project Solaris--我们专注于在 Minecraft 中构建多人视频世界模型的新工作。
本次发布包含三个主要部分。 1️⃣ Solaris Engine,一个功能完备的多人数据采集系统,内置可视化。团队为此投入了大量精力,因为目前还没有类似的东西存在。 https://github.com/solaris-wm/solaris-engine 2️⃣ Solaris Model,一个多人 DiT,采用新的内存高效 self-forcing 设计,在 1260 万帧协同 Minecraft 游戏数据上训练。 https://github.com/solaris-wm/solaris 3️⃣ Solaris Eval,使用一个 VLM 作为裁判来评估不同的多人能力。
阅读 @ojmichel4 的完整技术解析,并开始用 Solaris 构建吧。