AlayaWorld:长程可玩视频世界生成
阅读原文· arxiv.orgAlayaWorld 把生成世界从 demo 变成了可交互的全栈开源框架,放出了完整 pipeline,对做游戏和具身智能的团队来说是一套可以立刻跑起来的工具链,值得落地尝试。
AlayaWorld 是一个全栈开源框架,用于构建交互式生成世界。该框架支持开放式实时交互,用户可自由导航并执行战斗、施法、召唤怪物等多种动作。AlayaWorld 将数据准备、模型架构、训练、推理加速和部署统一在模块化可扩展的架构中,并发布了可复现流程、参考实现、评估工具和完整文档,为生成世界模型的未来研究与实时应用奠定基础。
游戏世界传统上是通过劳动密集型生产流程构建的,这使得它们开发成本高昂、难以定制,并且在部署后修改代价巨大。近期视频世界模型的进展提供了一种截然不同的范式。这些模型不再需要显式地编写虚拟环境的每一个组件,而是基于当前世界状态和用户交互,自回归地合成未来观测,从而使得可游玩的游戏世界能够被在线生成。通过在游戏录屏和真实世界视频上进行训练,它们能够捕捉多样的视觉外观和物理动态,为游戏之外(包括具身智能)的交互应用开辟了新机遇。在本文中,我们提出 AlayaWorld——一个用于构建交互式生成世界的全栈开源框架。AlayaWorld 支持开放式的实时交互,允许用户自由导航并执行多种动作,比如战斗、施法和召唤怪物。该框架将完整的开发流程——从数据准备、模型架构、模型训练、推理加速到部署——统一在一个模块化且可扩展的架构中。除了该框架,我们还发布了可复现的流程、参考实现、评估工具以及全面的文档,为未来关于生成世界模型的研究和实时应用奠定了实践基础。