# AlayaWorld：长程可玩视频世界生成 - 来源：HuggingFace Daily Papers（社区热门论文） - 发布时间：2026-07-07 08:00 - AIHOT 分数：73 - AIHOT 标记：精选 - AIHOT 链接：https://aihot.virxact.com/items/cmrbg84yf03mbihl1gfbbgeuz - 原文链接：https://arxiv.org/abs/2607.06291 ## 精选理由 AlayaWorld 把生成世界从 demo 变成了可交互的全栈开源框架，放出了完整 pipeline，对做游戏和具身智能的团队来说是一套可以立刻跑起来的工具链，值得落地尝试。 ## AI 摘要 AlayaWorld 是一个全栈开源框架，用于构建交互式生成世界。该框架支持开放式实时交互，用户可自由导航并执行战斗、施法、召唤怪物等多种动作。AlayaWorld 将数据准备、模型架构、训练、推理加速和部署统一在模块化可扩展的架构中，并发布了可复现流程、参考实现、评估工具和完整文档，为生成世界模型的未来研究与实时应用奠定基础。 ## 正文 摘要 游戏世界传统上是通过劳动密集型的生产管线构建的，这使得它们开发成本高昂、难以定制，并且在部署后修改费用不菲。近期视频世界模型的进展提供了一种根本不同的范式。这些模型并非显式地编写虚拟环境的每一个组件，而是根据当前世界状态和用户交互，自回归地合成未来的观测结果，从而能够在线生成可游玩的游戏世界。通过在游戏录像和真实世界视频上进行训练，它们可以捕捉多样化的视觉外观和物理动态，为游戏之外的交互式应用（包括具身智能）开辟了新的机遇。在本文中，我们提出了 AlayaWorld，一个用于构建交互式生成世界的全栈开源框架。AlayaWorld 支持开放式的实时交互，允许用户自由导航并执行多种动作，例如战斗、施法和召唤怪物。该框架将完整的开发流程——从数据准备、模型架构、模型训练、推理加速到部署——统一在一个模块化且可扩展的架构中。与该框架一同发布的，还有可复现的管线、参考实现、评估工具和全面的文档，为生成式世界模型的未来研究和实时应用奠定了实践基础。 https://alaya-lab.github.io/AlayaWorld/ \videohttps://www.youtube.com/watch?v=n0jIEg7taTI \通讯作者：kaipeng.zhang@shanda.com 媒体内容 · 前往原文查看 图 1：跨多种场景的交互式世界模拟。AlayaWorld 合成可探索的世界，涵盖第一人称和第三人称视角、真实世界、游戏和合成领域，以及室内和室外环境。此外，它还支持开放式动作，例如施法、武器战斗和召唤怪物。 1 引言 Alaya 代表着智能、创造力和新世界诞生的基础。 交互式虚拟世界是3D电子游戏的核心，并且正日益成为超越娱乐的实验平台，涵盖具身智能体、机器人仿真以及在可控环境中研究人类决策等领域。这些世界的重要性不仅源于其视觉真实感，更在于其交互性：玩家或智能体持续发出动作，而环境则以连贯且持久的观察流作为响应。因此，构建同时具备丰富性、交互性和持久性的虚拟世界，长期以来一直是人工智能领域的核心目标。 传统的游戏世界创建依赖于劳动密集型的生产流程。虽然它能产出高质量的游戏，但成本高昂。物体、动画、玩法、交互规则等都必须事先明确指定，导致生成的世界在很大程度上是预定义的，并且在部署后难以修改。扩展现有环境或引入新内容通常需要重新启动整个生产流程，这限制了虚拟世界的可扩展性和适应性。 近期视频世界模型（alibaba2026happyoyster; ball2025genie3; echo2026joyai; Mao_2026_CVPR; mao2025yume; team2026advancing; hunyuanvideo2025; wang2026matrix; yuan2026helios; zhu2026sana）的进展引入了一种根本不同的交互式世界创建范式。生成模型不再显式地构建整个世界，而是可以直接预测未来的观察结果，并根据用户交互合成后续的视觉状态。在此范式下，单个模型隐式地执行内容生成、行为建模和渲染，直接从数据中学习世界的内在规律，而非依赖人工编写的规则。此外，由于这些模型可以在多样化的视频上进行训练，它们生成的环境不再受限于游戏。相反，它们能够展现出视觉外观以及可控的动态和物理特性，从而从工程化的世界转向生成的世界，并惠及具身智能。 然而，利用视频世界模型构建可游玩的世界仍然面临诸多挑战。首先是控制问题，即世界在多大程度上真正向玩家开放。导航是否无限，行动是否任意，不受预设物理法则的约束。其次是一致性问题，即世界在多大程度上实现了空间与时间的一致性，并具备在物理上合理的自然动态。第三是稳定性问题，即模型能否在长程生成中避免视觉漂移。第四是运行时问题，即模型能否以低延迟实现实时生成。 在本工作中，我们首先回顾了交互式生成式世界建模中的主要挑战和代表性方法，为这一快速兴起的研究领域提供了一个统一的视角。基于这一分析，我们引入了 AlayaWorld，这是一个集成了提示词切换机制、AdaLN 风格相机控制模块、3D 缓存、历史压缩模块、错误库以及少步知识蒸馏的自回归 DiT 模型，以应对上述挑战。 AlayaWorld 是一个全栈、开源、长期的项目，旨在为未来视频世界模型的研究奠定基础。完整的技术细节、实验结果以及全部代码库将于七月中旬发布。 2 相关工作 我们首先回顾了作为世界生成骨干网络的视频生成模型，随后讨论了将世界生成构建为端到端可游玩系统的交互式世界模型。更细粒度的技术层面比较将推迟到第 3 节的相应小节中进行。 2.1 视频生成模型 现代视频生成建立在扩散模型和潜在扩散模型（Rombach 等人，2022）之上，其中基于 Transformer 架构的去噪器（DiT）（Peebles 等人，2023）被扩展为大型生成器。Sora（Brooks 等人，2024）确立了“视频作为世界模拟器”的范式，随后的开源主干网络，包括 Open-Sora（Zheng 等人，2024）、Open-Sora-Plan（Lin 等人，2024）、HunyuanVideo（Kong 等人，2024）、CogVideoX（Yang 等人，2025）、Wan（Wan 等人，2025）、LTX-Video（Hacohen 等人，2024）、Step-Video-T2V（Ma 等人，2025）和 MAGI-1（Teng 等人，2025），使得大规模文本到视频和图像到视频的合成变得广泛可用，同时还有强大的专有系统作为补充，例如 Veo（Google，2024）、Kling（快手，2024）、Gen-3（Runway，2024）和 MovieGen（Polyak 等人，2024）。另一条并行的工作线是开发用于物理和具身场景的视频基础模型，包括 Cosmos（Agarwal 等人，2025）和长上下文视频语言建模（Liu 等人，2025）。这些模型能够沿着预定轨迹合成高保真、时间连贯的视频，从而为交互式世界生成提供了天然的主干。这些模型提供了生成式主干，交互式世界生成正是建立在此之上；如何将它们扩展为交互式、由用户驱动的世界，是下文讨论的系统以及 AlayaWorld 所关注的核心。 2.2 交互式世界模型 一个不断扩展的研究方向将世界生成构建为一个端到端、可玩的系统。诸如 Genie（bruce2024genie）这类基于动作条件的世界模型，能够从大规模无标注视频中学习可控环境，而 Genie 2（parker2024genie）则将该方案扩展至可探索的 3D 场景。一个相关方向采用扩散模型或自回归模型作为神经游戏引擎，直接模拟可玩世界，包括基于 DOOM 的 GameNGen（valevski2025diffusion）、DIAMOND（alonso2024diffusion）、基于 Minecraft 的 Oasis（decart2024oasis），以及可提示或可玩的游戏模型（menapace2024promptable；yang2024playable）；GameGen-X（che2025gamegen）则进一步利用专用数据集解决了开放世界游戏视频生成问题。由于这些系统中的许多在单个游戏之外表现出有限的泛化能力，后续工作致力于提升可控性和泛化性，例如 The Matrix（feng2026matrix）、GameFactory（yu2025gamefactory）以及开源实时系统 MineWorld（guo2025mineworld）。更贴近自由探索式交互世界生成的 Yume（mao2025yume）能够从单张图像出发，在键盘式动作控制下合成一个可探索的世界，其后续版本 Yume 1.5（Mao_2026_CVPR）进一步提升了生成质量和交互可控性。近期系统越来越侧重于实时、流式交互并保持扩展一致性：Genie 3（ball2025genie3）能够实时生成可导航环境并保持分钟级连贯性，但仍是闭源的；Matrix-Game（he2025matrix）和 Hunyuan-GameCraft（li2025hunyuan）集成了动作条件、基于历史的一致性以及少步蒸馏技术，实现了实时生成并公开了模型权重，并进一步扩展了长时记忆和基于指令的控制（wang2026matrix；tang2025hunyuan）；Lingbot-World（team2026advancing）通过扩展扩散模型的上下文长度，提升了长时几何一致性。在一个互补方向上，面向游戏领域的努力，例如微软的 WHAM/Muse（kanervisto2025world）及其实时变体 WHAMM（microsoft2025whamm），共同对环境和人类动作进行建模，以实现可玩生成。 3 AlayaWorld AlayaWorld 是一个用于交互式生成世界的全栈框架。它基于 LTX-2.3 进行微调，并结合了我们设计的模块。 3.1 交互 AlayaWorld 提供两种交互方式，包括导航和提示词驱动的动作。 3.1.1 导航 相机作为条件信号。第一类工作将相机运动视为视频模型必须转化为图像空间运动的外部条件。无训练方法通过在推理时操控中间潜变量、注意力特征或布局先验来引导预训练视频模型。CamTrol（hou2024cameractrl）通过三维点云重排建模相机运动，并利用噪声潜变量的布局先验来引导生成，无需额外的相机姿态训练。Latent-Reframe（zhou2025latentreframe）遵循类似原理，通过三维点云重映射来重构潜变量特征。这些方法与现成的视频生成器兼容，但其控制精度受限于估计几何体的质量以及潜变量引导的间接性。有学习的相机条件方法则训练专用模块来编码相机轨迹。MotionCtrl（wang2024motionctrl）将相机运动表示为旋转和平移序列，并通过时间Transformer模块中的相机运动控制模块注入该信息。CameraCtrl（he2025cameractrl）使用普吕克射线嵌入表示相机姿态，并将编码后的相机特征融合到时间注意力层中。CamI2V（zheng2024cami2v）和CamCo（xu2024camco）通过将基于普吕克射线的姿态条件与显式几何约束（如对极注意力）相结合，进一步强化了这一方向。CameraCtrl II（he2025cameractrl2）将相机条件视频扩散扩展到更广视角范围的动态场景探索。另一种变体将相机运动离散化为动作token。Yume（mao2025yume）通过键盘式动作暴露相机控制，这简化了交互式使用，但仅提供动作级控制，而非任意连续轨迹控制。总体而言，这些方法通过连续姿态、离散动作或潜变量空间引导提供了灵活的相机控制，但其精度取决于生成器将条件可靠转化为一致图像空间运动的能力。 相机作为一种架构偏置。第二类工作将相机几何信息融入Transformer的内部算子中。光线图条件化（Ray-map conditioning）提供像素对齐的相机光线作为token级别的几何输入。相对相机编码（Relative camera encodings）则使token之间的交互依赖于视角间的几何关系。PRoPE（li2025prope）将完整的相机视锥体（包括内参和外参）编码为注意力机制中的投影式相对位置编码。HY-World 1.5（hyworld2025）采用这一思路，通过PRoPE将连续相机姿态注入因果自注意力机制，同时将离散键（discrete keys）融入时间步嵌入以实现稳健的用户控制，从而进行交互式世界建模。UCPE（zhang2025ucpe）进一步泛化了相机位置编码，在一个统一公式中对六自由度姿态、相机内参、镜头畸变和绝对朝向进行建模。其他工作则利用归一化层级的调制，以最小开销注入相机信息。BulletTime（wang2025bullettime）通过轻量级四维位置编码结合相机条件归一化分支（Camera-AdaLN），融合了相机与时间控制；其中Camera-AdaLN分支通过依赖相机的仿射归一化参数来调制DiT特征。这些架构机制高效且与现代基于Transformer的视频生成器兼容。然而，由于相机控制被注入去噪主干网络，弱条件化可能被忽略，而过强或校准不当的条件化则会降低外观质量和时间连贯性。 将相机作为显式渲染证据。第三类工作通过渲染目标相机轨迹下的几何代理，减轻了隐式姿态到图像推理的负担。GEN3C（ren2025gen3c）从深度反投影的种子帧或先前生成的帧构建3D缓存，沿期望轨迹渲染该缓存，并将渲染视图作为条件输入视频生成器。这便将相机控制从参数解释问题转化为图像条件生成问题。生成器随后可专注于补全被遮挡区域、修正渲染伪影以及推进场景动态。TrajectoryCrafter（yu2025trajectorycrafter）采用类似的生成式重渲染方案，通过联合点云渲染和源视频作为条件，为单目视频重定向相机轨迹。ReCamMaster（bai2025recammaster）和ReCapture（zhang2024recapture）在保持场景外观和动态的同时，将给定视频在新相机轨迹下重新渲染。CamCloneMaster（luo2025camclonemaster）无需在推理时提供显式相机参数，即可从参考视频迁移相机运动。我们注意到，第三类工作运行在视频到视频（V2V）重渲染场景中：它接收现有源视频作为输入并重定向其相机轨迹，因此与从单帧或文本提示合成未观测世界的交互式自由探索场景截然不同。这些方法为目标视角提供直接的图像空间引导，从而提升几何保真度和相机跟随精度。其代价是依赖几何估计、渲染质量、源视频覆盖范围或参考运动可用性的更繁重管线。 我们的方法。AlayaWorld 将显式渲染证据与轻量级架构注入相结合。遵循 GEN3C ren2025gen3c 的思路，我们维护了一个 3D 缓存，并沿着玩家的目标相机轨迹对其进行渲染。渲染后的缓存为生成器提供了查询视点的具体视觉证据，从而改善了轨迹跟踪和跨视图一致性。这对于交互式世界尤为重要，因为玩家可能会离开某个区域，稍后再返回。同时，我们避免了在生成主干网络内部使用繁重的相机融合模块。我们通过 AdaLN 风格的调制方式注入紧凑的相机条件，这种方式仅引入少量的参数和计算开销。这种设计分离了两条条件路径的作用。渲染后的 3D 缓存提供了空间上锚定的外观和几何信息。轻量级的相机调制则在主干网络内部提供了轨迹感知能力。两者结合，在保持响应式交互所需效率的同时，支持了精确的操控能力。 3.1.2 提示词驱动的动作 导航是一种基础交互方式，而 AlayaWorld 还支持自由形式的提示词驱动动作，例如施法、武器战斗和召唤怪物，以实现一个真正可游玩的游戏世界。具体来说，AlayaWorld 引入了一种基于数据块粒度的提示词切换机制。它可以在任意数据块边界替换文本条件，使得下一个数据块新生成的内容不会影响之前已生成的内容，从而避免对现有序列进行重新生成。该机制在概念上与注意力层面的提示词编辑 hertz2022prompt2prompt; liu2024videop2p 是一致的。 3.2 一致性 一致性要求空间与时间上的连贯性，且需与保持物理合理性的自然动态相符。例如，一个玩家离开某区域后又返回该区域。我们强调，这是地点同一性的属性：即便生成的流媒体内容完全稳定且无漂移，只要重访区域的外观与之前不一致，持久性仍会失效。该特性通过"离开-返回"的闭环轨迹进行测试，且与原始视觉质量无关。其难点在于结构层面：自回归世界模型将每个新片段限定在有限的上下文窗口内，而注意力成本会随保留帧数的增加而增长。因此，保留完整展开序列在计算上不可行，而仅保留近期窗口则会丢弃闭环所需的证据。我们根据决定历史证据检索方式的索引原则对先前工作进行分类：时间索引记忆按观测时间回溯历史，空间索引记忆则按观测位置回溯历史，后者更符合重访行为的闭环特性。 时序索引记忆。时序索引方法将历史信息表示为序列，并根据时间远近、叙事顺序或循环传播来保留过往证据。第一类方法直接保留原始时序上下文，要么将过去帧附加到当前生成窗口，要么跨镜头保留选定的关键帧。当相关证据仍在上下文范围内时，这类方法能保留高保真观测结果，但其成本会随历史长度增长，且一旦某个位置超出保留窗口，其召回能力就会减弱。第二类方法在条件化生成器之前对时序上下文进行压缩。FramePack（zhang2025framepack）通过逐步压缩过去帧信息，将长历史打包到有限的上下文预算中。Frame Preservation（zhang2025framepreservation）学习一个轻量级历史编码器，将长视频历史映射为短嵌入向量，同时保留任意时间位置上的帧级信息。其他基于压缩的方法采用混合、打包、记忆流或分层记忆设计，以降低长程条件化的成本（zhang2025framepack; zhang2025framepreservation; wu2026infiniteworld）。第三类方法通过循环或状态空间计算隐式地承载历史信息。这些方法跨片段传播紧凑的隐藏状态，而非显式存储所有视觉token（chen2025recurrentdiffusion; po2025longcontextssm; yu2025videossm）。它们具有良好的扩展性，但压缩状态是按展开顺序而非物理位置索引的。因此，时序记忆可以维持短期动态和全局连续性，但无法直接保证长时间延迟回溯所需的确切证据仍然可访问。 空间索引记忆。空间索引方法根据视角、姿态或重建的场景几何结构来组织历史信息。一种轻量级形式是将历史帧与相机状态一同存储，并通过空间重叠来检索它们。Context-as-Memory（yu2025contextasmemory）以帧格式保存历史，并根据视野重叠选择相关上下文。WorldMem（xiao2025worldmem）存储带有姿态和时间戳的记忆帧，然后根据查询状态读取记忆。这类记忆仍然是基于帧的，但其检索键是空间性的，而非纯粹的时间性。一种更强的形式将记忆绑定到显式的几何基座上。GEN3C（ren2025gen3c）从深度反投影的帧构建3D缓存，并在目标相机轨迹下渲染该缓存，以条件化未来的生成。Video World Models with Long-term Spatial Memory（wu2025longtermspatialmemory）、EvoWorld（wang2025evoworld）和Spatia（zhao2025spatia）维护显式的空间记忆，这些记忆在展开过程中更新，并在重新访问某个视角时重新投影或查询。Lyra 2.0（shen2026lyra2）维护每帧的3D几何结构用于信息路由，检索从目标视角可见的历史帧，并为长程生成建立密集对应关系。系统级3D世界模型，如HY-World 2.0（hyworld22026），进一步结合了视角生成、重建、世界扩展和组合，以生成持久的、可导航的3D场景。近期工作通过将缓存直接存储在扩散潜在空间中（zhao2025spatia），降低了显式RGB空间空间记忆的成本。因此，空间索引与闭环检测和长程绕行更为契合，因为查询的视角可以从对应区域检索证据，而非从最近的片段中检索。其主要局限在于流程复杂性、对深度或几何估计的依赖，以及难以表示状态在静态空间缓存中不固定的动态物体。 我们的方法。这两种记忆形式是互补的。空间记忆锚定先前访问区域的几何结构与外观，而时间记忆则捕捉近期运动、瞬时变化以及全局展开上下文。AlayaWorld 将这两种机制结合起来。遵循 GEN3C ren2025gen3c 的方法，我们维护一个显式 3D 缓存，并将其重投影到查询视角中，为先前观察到的区域提供空间上有依据的证据，并提高重访时的一致性。由于这种缓存主要表征静态结构，它本身无法编码所有近期的时间动态。因此，我们额外按照 Frame Preservation zhang2025framepreservation 的方法，将近期帧历史压缩成一个轻量级嵌入向量。显式缓存提供空间持久性，而压缩后的历史信息提供时间持久性。两者共同覆盖了纯空间记忆和纯时间记忆各自失效的互补场景。 3.3 稳定性 我们将稳定性具体化为长程视频生成。其目标不仅是生成更多帧，更是在展开过程中维持视觉质量、物体身份、运动连续性和可控性。与持久性不同，这是跨越时间跨度的稳定性属性，与是否有任何区域被重访无关：即使玩家从不回头、从未发生闭环，纯粹的前向展开仍会因误差累积而退化。这之所以困难，是因为自回归视频生成会反复以自身输出为条件。因此，微小的伪影、不一致的运动或分布偏移会随时间累积，将后续片段推离数据流形。针对这种漂移的干预措施可以部署在自回归流水线的四个阶段：条件输入、训练过程、采样调度和预测目标。 条件输入：更长且组织更优的历史信息。缓解漂移的一种方法是让生成器能够访问更长或组织更优的历史信息。与§3.2中用于闭环检测的空间记忆不同，这里关注的是条件输入如何稳定前向推演过程，其评估标准是单调长推演中的退化程度，而非重访一致性。部分方法仅通过扩大可用上下文窗口来实现：Context Forcing（chen2026context）训练一个长上下文学生模型与匹配教师模型，以避免短上下文监督不匹配问题。另一些方法则在固定预算下压缩或重组上下文：Infinite-World（wu2026infiniteworld）将历史潜变量蒸馏为无姿态的固定预算记忆，而Relax Forcing（zhao2026relaxforcing）则认为仅增加记忆并不足够，转而将上下文分配至不同功能角色，如沉没区、尾部及精选历史。这些方法能保持更多有用历史信息处于活跃状态，但它们仍依赖模型自行决定历史信息应如何纠正当前生成内容，因此其效果受限于记忆选择、压缩损失以及长上下文的训练分布。我们注意到，尽管这些方法与§3.2中的记忆压缩共享机制，但其目标是稳定前向推演，而非通过空间索引实现闭环一致性记忆；两者互为补充而非冗余。 训练流程：基于轨迹展开的训练与误差修正。另一种方法将漂移视为训练与测试之间的不匹配。教师强制视频模型在干净的历史数据上训练，但自回归推理依赖于已经包含误差的模型自生成帧。Self-Forcing（huang2025selfforcing）通过让模型在其自身的自回归展开条件下进行训练来解决这一问题，从而减少训练与推理之间的暴露偏差。Stable Video Infinity（li2025stablevideoinfinity）通过误差循环微调使这一思路更加明确。它将历史误差注入干净输入，估计由此产生的残差误差，在扩散时间步中将其存储到误差库中，并在训练过程中重新采样。这教会了DiT识别并纠正在长序列展开中会遇到的各类误差。Helios（yuan2026helios）同样针对长视频漂移问题，但避免了自强制、误差库和关键帧采样等运行时抗漂移启发式方法。相反，它刻画了漂移的失效模式，并用模拟的漂移历史训练模型，同时从根源上抑制重复运动。这些方法直接解决了误差累积问题，但通常需要额外的长序列展开训练、误差模拟或特定于模型的抗漂移方案。 采样调度：松弛因果与锚点生成。漂移也可以通过改变生成调度来解决，使误差不会严格地从一个片段传播到下一个片段。Rolling Forcing（liu2025rollingforcing）在保持流式前向推进的同时放松了严格的因果性，它在一个滚动窗口内以递增的噪声水平联合去噪帧，并将初始帧用作注意力汇聚点，从而在实时延迟下抑制误差增长。Anchored Tree Sampling（bendel2026anchoredtreesampling）则放弃了因果顺序，在整个时间范围内生成稀疏锚点，再填充中间片段，这能将漂移限制在局部范围内，但需要非因果生成，因此不太适合实时交互场景。 预测目标：几何与感知稳定器。通过用比原始 RGB 更稳定的辅助信号来增强预测目标，可以进一步约束漂移。WorldWeaver（liu2025worldweaver）联合建模 RGB 帧和感知条件，并使用深度线索作为记忆信号，因为深度比 RGB 外观更不易产生视觉漂移。Endless World（zhang2025endlessworld）加入了 3D 感知注意力机制，使生成过程受到显式几何约束，从而在长程推演中保持连贯性。具有显式空间记忆的世界模型还能通过将生成视图锚定在持久场景结构上（而非仅依赖之前的 RGB 帧），来稳定长程推演（wu2025longtermspatialmemory; wang2025evoworld; zhao2025spatia）。这些方法通过用几何、感知或世界状态线索约束生成来减少漂移。其代价是需要额外的估计、表示或记忆维护，并且可能仍难以处理状态在长周期内变化的动态物体。 我们的方法。AlayaWorld 将稳定性视为自回归生成中的训练时鲁棒性问题。遵循 Helios（yuan2026helios）的思路，我们在训练期间让模型接触已发生漂移的历史数据，而不是假设每个条件片段都保持干净。我们进一步引入了一个错误库，用于存储在推演过程中累积的残留伪影，并将其作为结构化扰动重复使用。与仅将此类错误应用于预测目标的方法不同，我们将错误库样本同时注入记忆条件和目标片段。这种联合扰动能更好地匹配长程推理场景——模型必须从不完美的记忆中生成，同时还要纠正下一片段中的错误。因此，模型不仅学会了延续一段干净视频，还学会了在历史数据受损的情况下稳定生成，并防止错误在自回归步骤中不断累积。 3.4 运行时 我们将运行时实例化为交互约束下的实时视频生成。交互式生成受两种不同延迟的制约，一个响应式系统必须将两者都控制在较低水平。视觉延迟是指从决定生成到画面出现之间的时间，这是一个计算问题。语义延迟是指从用户意图发生变化到输出反映这一变化之间的时间，这是一个条件更新问题。我们据此对先前的工作进行归类：那些让生成速度更快的方法能够降低视觉延迟，而那些让条件能够实时更新的方法则能降低语义延迟。 降低视觉延迟：更快的生成速度。三条互补的技术路线缩短了从触发到生成画面的时间。第一条路线通过知识蒸馏减少去噪步数。渐进式蒸馏（Progressive Distillation, Salimans 等人 2022）和一致性模型（Consistency Models, Song 等人 2023）训练学生模型逼近教师模型的采样轨迹或概率流解，这一思路被潜在一致性模型（Latent Consistency Models, Luo 等人 2023）引入潜在扩散模型，并由 DMD（Yin 等人 2024）和 DMD2（Yin 等人 2024）重新表述为分布匹配；VideoLCM（Wang 等人 2023）、AnimateLCM（Wang 等人 2024）和 T2V-Turbo（Li 等人 2024）将少步蒸馏扩展至视频领域。第二条路线将生成过程重构为因果流而非离线片段，从而使结果能够连续呈现：Reuse and Diffuse（Gu 等人 2023）和 FIFO-Diffusion（Kim 等人 2024）通过复用潜在变量或对角线去噪持续生成，StreamingT2V（Henschel 等人 2024）和 StreamDiT（Kodaira 等人 2025）在重叠块或移动缓冲区上进行流式处理，CausVid（Yin 等人 2025）、MotionStream（Shin 等人 2025）和 LongLive（Yang 等人 2025）则将双向教师模型蒸馏为因果学生模型，实现逐帧或逐块的即时生成。第三条路线在运行时复用计算：金字塔注意力广播（Pyramid Attention Broadcast, Zhao 等人 2024）在扩散步骤间广播冗余的注意力输出，FasterCache（Lv 等人 2024）动态复用特征并利用无分类器引导中条件分支与无条件分支之间的冗余。蒸馏在激进地减少步数时会削弱运动保真度和多样性；流式处理会引入块边界不连续性和误差累积；缓存复用仅能削减固定采样过程内的计算量，无法触及语义层面的运行时。 降低语义延迟：即时条件注入。运行时还要求在生成过程中无需重新生成序列即可改变条件状态。该机制源于注意力层面的提示词编辑：Prompt-to-Prompt hertz2022prompt2prompt 通过操控交叉注意力图来编辑文本条件扩散模型，而 Video-P2P liu2024videop2p 将其扩展到视频领域，同时保持未修改区域的时间一致性。LongLive yang2025longlive 通过引入 KV 重缓存机制，使其在流式传输下也能工作——该机制利用新提示词和之前生成的帧重新计算缓存状态，从而在切换时消除语义惯性，同时保持视觉连续性。这些方法表明，运行时不仅关乎采样速度：系统还必须足够快速地更新其条件状态，以跟上用户意图，避免突然的视觉变化或延迟的语义响应。 我们的方法。AlayaWorld 通过一种简单的实时生成设计来应对运行时挑战。我们采用基于标准 DMD 的知识蒸馏，以减少每个生成块所需的去噪步数。我们进一步使用较小的时序块大小，使每次生成调用的延迟较低，用户命令能在短暂延迟后影响输出。通过在生成下一个块之前更新文本条件，支持在块边界处进行提示词切换。这避免了完整序列的重新生成，同时保持了交互循环的简单性和可预测性。与繁重的运行时缓存工程或专门的 KV 重缓存机制相比，我们的设计优先考虑低单块计算量和频繁的条件更新点。通过这种方式，少步蒸馏提供了速度，短块提供了交互粒度，而提示词切换则提供了在用户意图变化下的可控性。 4 定性结果 AlayaWorld 基于 LTX-2.3 hacohen2024ltx 进行微调，以 720p 24fps 进行自回归生成，每个块通过四步去噪生成，对应大约一秒的视频。为公平起见，所有基线方法均在 AlayaWorld 相同的输入条件和分辨率下进行评估（只要其公开实现允许）。 4.1 相机控制 图 2 展示了在不同相机视角和动作指令下生成的序列。AlayaWorld 在保持场景一致性和几何合理性的同时，忠实地遵循了所要求的视角变化和平移操作，展示了在交互控制下精确的相机可控生成能力。 媒体内容 · 前往原文查看 图 2：相机控制生成的定性结果。 4.2 开放式动作 图 3 展示了在生成过程中动态切换文本提示词的序列。通过在分块边界处更新文本条件，AlayaWorld 能在短暂延迟后过渡到新提示词，同时保持切换前后的视觉连续性，而无需重新生成之前的序列。这表明 AlayaWorld 能以交互级延迟响应用户意图的变化，支持超越单一固定提示词的响应式控制，从而实现开放式动作。 媒体内容 · 前往原文查看 图 3：提示词驱动动作的定性结果。 4.3 一致性 图 4 展示了"离开并返回"的轨迹，即视角离开某个区域后又重新访问该区域。重新访问的区域在几何结构、布局和纹理方面与其之前的外观保持一致，这表明显式空间缓存和压缩时间历史共同支持了可靠的闭环回环。 我们还在相同设置下评估了具有代表性的交互式世界模型。现有模型表现出典型的失败模式：视觉质量退化、相机控制不准确，以及重新访问之前观察过的区域时出现不一致。相比之下，AlayaWorld 能生成视觉上合理且时间上连贯的结果，这些结果既忠实于控制输入，又能在整个轨迹中保持场景结构。 媒体内容 · 前往原文查看 图 4：与现有方法的一致性对比。 4.4 长程生成 图 5 展示了在长程范围内自回归生成的扩展序列。随着生成序列的增长，AlayaWorld 能保持视觉质量、物体身份和运动连续性，而不会出现明显的伪影累积，这表明其在纯前向探索下具有很强的稳定性。 媒体内容 · 前往原文查看 图 5：一分钟生成的定性结果。 4.5 多样化风格 AlayaWorld 在多种视觉风格下均能保持场景一致性。如图 6 所示，同一导航轨迹分别以写实、我的世界、水墨画、油画、赛博朋克、像素艺术以及受塞尔达传说启发的风格进行渲染。尽管渲染风格差异显著，但场景几何结构、相机轨迹和语义内容始终得以保留。 媒体内容 · 前往原文查看 图 6：多种风格下的定性结果。 5 贡献 作者按名字首字母顺序排列。 核心负责人：张凯鹏 负责人：李传浩 核心贡献者：李传浩、张凯鹏、展一帆、葛永泰、尹远洋 贡献者：谭嘉明、何康、范燎原、刘瑞聪、徐晓洁、楚轩耕、李振、林正源、王志翔、孟子安、高子惠 参考文献