MoCapAnything V2 提出了首个完全端到端的单目视频运动捕捉框架,用于驱动任意骨骼。该框架将视频到姿态、姿态到旋转两个模块设计为可学习且联合优化,解决了传统分解流程中旋转模糊与不可微逆运动学带来的限制。通过引入目标资产的参考姿态-旋转对与休息姿态,明确定义了旋转坐标系,将旋转预测转化为条件良好的问题。模型直接从视频预测关节位置,无需依赖网格中间表示,提升了鲁棒性与效率。实验表明,该方法在多个数据集上将旋转误差从约17度显著降低至约10度,在未见骨骼上可达6.54度,且推理速度比基于网格的方法快约20倍。
本文针对非专业低代码用户指令模糊、质量低的现实瓶颈,提出了首个多模态交互式网站生成基准InteractWeb-Bench。该基准通过四类用户智能体与基于人物角色的指令扰动,系统模拟了包含模糊、冗余和矛盾在内的多样化用户行为,并提供了一个支持澄清、实现、验证和提交统一行动的交互式执行环境,以实现迭代式意图细化与代码合成。大量实验表明,当前前沿的多模态大语言模型智能体仍受困于“盲目执行”模式,在意图识别与自适应交互方面存在明显局限。
研究团队提出“规模化合成计算机”方法,以创建包含真实文件夹层级与丰富文件内容(如文档、表格)的可扩展计算机环境。基于每个合成计算机,系统运行长周期模拟:一个代理设定符合用户身份、需耗时约一个月完成的多项专业任务目标;另一代理则扮演用户,通过导航文件系统、与模拟协作者协作、生成专业文件等方式持续工作直至目标达成。初步实验中,团队创建了1000个合成计算机并运行模拟,每次模拟平均需超过8小时代理运行时间、跨越2000多个回合。模拟产生的丰富经验学习信号显著提升了代理在生产力评估中的表现,该方法有望扩展至数百万甚至数十亿合成用户世界,为长周期生产力场景中的智能体自我改进与强化学习提供基础。
本研究提出Eywa异构智能体框架,以扩展语言中心的大模型系统至更广泛的科学基础模型。该框架通过为领域专用基础模型增加语言模型推理接口,使语言模型能指导非语言数据模态的推断,从而让预测性基础模型参与高层推理与决策。Eywa可作为单智能体流程的直接替代,或嵌入现有多智能体系统,并支持基于动态规划的跨模态任务协调。实验覆盖物理、生命及社会科学领域,结果表明Eywa能提升涉及结构化与领域专用数据的任务性能,并通过与专用模型的协作减少对纯语言推理的依赖。
当前视觉生成模型在写实性、指令跟随等方面进展显著,但在空间推理、长程一致性与因果理解上仍面临挑战。研究主张从外观合成转向智能视觉生成,即生成基于结构、动态和因果关系的合理内容。为此提出了一个五级分类体系,标志着从被动渲染器到交互式、世界感知生成器的根本转变。关键技术驱动力包括流匹配、统一的理解-生成模型、数据策展与后训练等。现有评估常因过度强调感知质量而高估进展,忽视了结构与时序缺陷。结合基准评测与真实场景测试,该路线图为推进下一代智能视觉生成系统提供了以能力为中心的视角。
本研究提出FD-loss,通过将弗雷歇距离(FD)估计所需的大规模样本量与梯度计算的小批量解耦,首次将其有效优化为训练目标。该方法在不同表征空间中对基础生成器进行后训练,能持续提升样本视觉质量,并在Inception空间下使单步生成器在ImageNet 256x256上达到0.72的FID。FD-loss无需蒸馏或对抗训练,即可将多步生成器转化为高性能单步模型。研究同时发现,仅依赖Inception FID可能误导质量评估,因此提出了多表征度量指标FDr^k。这项工作推动了分布距离在生成模型的训练与评估中的进一步探索。
针对现有以文档为中心的研究设施无法显式表征方法演进关系的问题,本文提出了方法论演化图谱Intern-Atlas。它从超103万篇AI论文中自动识别方法实体,推断其谱系关系与关键创新瓶颈,构建了一个包含941万余条有证据支撑语义边的可查询因果网络。研究还设计了自引导时序树搜索算法以追溯方法演进链条,经验证与专家标注结果高度一致。该图谱支持想法评估与自动生成等下游应用,为自动化科学发现提供了基础数据层。
有人做了一个很好玩的研究,用冷知识来给大模型称体重,得出结论:GPT-5.5 约 9.7T、Opus 4.7 约 4T、Grok-4 约3.2T。。。 Pin…
本文提出了首个针对真实世界自然场景表格图像的问答基准WildTableBench。该基准包含从在线论坛和网站收集的402张高信息密度表格图像,以及涵盖五大类别、17种子类型的928个人工标注验证问题。研究对21个前沿的专有和开源多模态基础模型进行了评估,结果显示仅有一个模型准确率超过50%,其余模型准确率介于4.1%至49.9%之间。诊断分析进一步揭示了模型在结构感知和数值推理方面存在的持续弱点。该基准为深入评估和提升表格图像理解能力提供了重要的诊断工具。
研究团队提出CGM-JEPA自监督预训练框架及其扩展X-CGM-JEPA,以解决连续血糖监测(CGM)在跨模态、跨场景部署时的表征迁移与一致性问题。该方法通过预测掩码的潜在表征,并结合跨视图的血糖密度目标,从大规模无标签CGM数据中学习高层次时空与分布结构。在三个临床队列的评估中,X-CGM-JEPA在所有测试机制下对两个代谢终点的预测性能均位列前二,最高超越基线6.5个百分点。该模型在保持平均性能的同时,显著缩小了种族间的性能差异,并在稀疏静脉数据上提升了聚类效果。
本文提出EnergyFlow框架,通过参数化一个标量能量函数,将生成式动作建模与逆强化学习统一起来。该框架证明,在最大熵最优性下,通过去噪分数匹配学到的分数函数可恢复专家软Q函数的梯度,从而无需对抗训练即可提取奖励。理论分析表明,约束学习场为保守场能降低假设复杂性并收紧分布外泛化界限。实验显示,EnergyFlow在各种操作任务上实现了最先进的模仿性能,其提供的奖励信号在下游强化学习中优于对抗性IRL和基于似然的方法。这表明有效的奖励提取约束本身即是有益于策略泛化的归纳偏置。
针对可验证奖励强化学习可能抑制生成多样性的问题,本文提出负样本投影残差强化学习框架。该方法通过理论分析,将负样本标记的隐藏表示投影到基于奇异值分解的低秩正子空间,并利用投影残差来调制负梯度,从而解耦正负响应间的相似语义分布。在涵盖数学、代码、智能体任务和函数调用的12个基准测试中,ResRL平均表现优于基线方法,尤其在数学推理上较负样本强化学习方法显著提升,实现了推理能力与生成多样性的协同优化。代码已开源。
研究团队构建了覆盖10个临床领域、包含3600多项任务的Gymnasium兼容医疗AI训练环境。分析发现,现有多轮智能体强化学习方法易退化为冗长单轮独白,工具使用频率下降,问题源于稀疏最终奖励与连续临床轨迹的错配。为此,研究提出“轮次截断策略蒸馏”自蒸馏框架,利用梯度冻结的EMA教师模型在每轮对话提供密集的KL正则化。该方法在18项基准测试的10项中取得最佳性能,较非强化学习基线平均提升3.9个百分点,实现了更快早期收敛、可控响应长度和持续的多轮工具使用。
针对大型多模态模型后训练中SFT阶段引发的分布漂移问题,研究团队提出了PRISM三阶段流程。它在监督微调与强化学习验证奖励之间,新增了一个基于在线策略蒸馏的显式分布对齐阶段。该阶段将对齐构建为策略与混合专家判别器之间的黑盒对抗游戏,由感知和推理专家提供解耦的纠正信号。团队使用来自Gemini 3 Flash的11.3万条高保真演示进行对齐。在Qwen3-VL上的实验表明,PRISM能持续提升下游强化学习性能,使4B和8B模型在多个基准上的平均准确率较基线分别提升4.4和6.0个百分点。
BlenderRAG是一个检索增强生成系统,能够从自然语言描述自动生成可执行的Blender代码。该系统基于一个包含500个经专家验证的多模态样本(文本、代码、图像)的数据集,覆盖50种物体类别。在代码生成过程中,系统通过检索语义相似的示例来引导大语言模型,从而将四大前沿模型的代码编译成功率从40.8%显著提升至70.0%,并将语义对齐度(CLIP相似度)从0.41提高到0.77。该方法无需对模型进行微调或使用专用硬件,可立即部署使用。相关数据集和代码已在GitHub开源。
针对自回归大视觉语言模型在生成长序列时出现的“视觉信号稀释”问题,研究团队提出了轻量级可学习模块“持久视觉记忆”。该模块作为前馈网络的并行分支集成到模型中,建立了一个与生成长度无关的检索路径,能直接提供视觉嵌入以维持精确的视觉感知,从而从结构上缓解深度生成固有的信号抑制。在Qwen3-VL模型上的实验表明,该模块以极小的参数开销带来了显著的性能提升,在4B和8B规模上均实现了平均准确率的稳定增长,尤其在需要持续视觉感知的复杂推理任务中表现突出。
针对现有树状检索增强生成方法在应对跨文档多跳查询时面临的分布适应性差、结构隔离和抽象粒度粗糙三大挑战,研究者提出了Ψ-RAG框架。该框架包含两个核心组件:一是通过“合并与坍缩”迭代过程构建、无需先验分布假设的分层抽象树索引;二是配备重组查询和智能体驱动混合检索器的多粒度检索代理。Ψ-RAG支持从词元级问答到文档级摘要的多样化任务,在跨文档多跳问答基准测试中,其平均F1分数显著优于现有先进方法。相关代码已开源。
Meta 发布了用于代码生成与推理的 Code World Model,并对其进行了前沿风险准备情况评估。报告显示,该模型在预设的可能带来灾难性风险的领域测试中,未表现出超越当前 AI 生态系统的额外前沿风险。基于评估结果,Meta 决定以开放权重模型的形式公开发布 CWM。
研究团队提出Odysseus框架,利用强化学习训练视觉语言模型在《超级马里奥大陆》中执行超过100轮的长序列决策。该方法采用改进的PPO算法与轻量级轮次评论家,显著提升了训练稳定性和样本效率。相比从零开始的深度强化学习,预训练视觉语言模型提供了强动作先验,减少了对人工动作工程的需求。实验表明,Odysseus在游戏进度上达到前沿模型的至少3倍,并在游戏内与跨游戏泛化中保持性能提升,同时未损害模型的通用领域能力。该研究为在多模态长序列任务中稳定应用强化学习提供了关键要素与实践指导。
针对大型语言模型红队测试中生成对抗性攻击时面临的训练不稳定与模式崩溃问题,研究团队提出Stable-GFN方法。该方法摒弃了传统生成流网络中的分区函数估计,转而采用基于成对比较的稳定训练目标,并引入鲁棒掩码机制以应对奖励噪声。此外,通过流畅度稳定器防止模型陷入生成无意义文本的局部最优。实验表明,该方法在保持生成流网络最优策略的同时,实现了更稳定的训练过程,其生成的对抗攻击在效果与多样性方面均表现优异。
研究建立了层次决策树与扩散过程在极限状态下的数学对应关系,提出统一的优化原则——全局轨迹分数匹配(GTSM),并证明理想化梯度提升是其渐进最优解。基于该框架,treeflow 在表格数据生成任务中实现了更高保真度与 2 倍计算加速,生成质量达到竞争水平;dsmtree 作为一种新型蒸馏方法,能将层次决策逻辑迁移至神经网络,在多项基准测试中与教师模型性能差距不超过 2%。
本文提出一种将评估机制嵌入工具调用智能体实时执行循环的新方法。通过引入一个专门的评审员智能体,在推理时对主智能体的中间决策轨迹进行即时评估,并生成结构化反馈。这使得主智能体能在单次运行中动态调整其工具选择与参数调用,无需依赖传统的提示调整或模型重训练。该实时干预机制旨在直接纠正错误,提升了工具使用的准确性与可靠性,突破了传统后验评估无法在运行中修正行为的局限。本工作已被ACL 2026的自然语言生成、评估与指标研讨会接收。
针对大型视觉语言模型普遍存在的幻觉问题,研究提出在线自校准框架OSCAR。该方法利用模型自身判别能力高于生成能力的特点,通过蒙特卡洛树搜索和双粒度奖励机制构建偏好数据,并采用直接偏好优化进行迭代训练。实验表明,OSCAR在多个幻觉基准测试中取得最优性能,同时提升了模型的通用多模态能力,避免了传统离线对齐方法中存在的监督-感知失配问题。
研究提出LASE(语言对抗性说话人编码器),以解决多语言语音克隆中因发音文字不同导致的说话人身份漂移问题。现有编码器如WavLM和ECAPA-TDNN在跨文字切换时性能下降。LASE在冻结的WavLM-base-plus模型上增加小型投影头,结合监督对比损失和梯度反转的跨语言分类对抗损失进行训练,使编码消除语言信息的同时保留说话人特征。实验表明,在1118个跨文字语音对上,LASE将身份漂移降至接近零,并扩大与基线的差距2.4-2.7倍。在合成多说话人日记任务中,LASE仅用约百分之一训练数据即达到与ECAPA-TDNN相当的说话人召回率。研究同时发布了模型检查点、语料库和评估代码。
本文针对分布式黑盒共识优化问题,提出轨迹驱动的自设计框架LACMAS。该方法首先设计了具有自适应内部机制的智能体群体动力学,以平衡探索、收敛与局部逃逸。在此基础上,利用大型语言模型根据历史优化轨迹,为智能体的内部行动与外部协作模式提供稀疏的高层指导,并采用分阶段认知调度策略进行资源感知的适应。实验表明,该框架在基准测试和实际任务中,能持续提升解决方案质量、收敛效率与通信效率,为从人工设计转向自设计多智能体优化系统提供了可行路径。
研究团队提出了“部署中学习”(LWD)框架,用于对通用视觉-语言-动作(VLA)策略进行持续的集群规模离线到在线强化学习。该系统从预训练策略出发,利用机器人集群自主运行和人工干预数据,形成部署、经验共享、策略改进与再部署的闭环。为稳定处理异构稀疏奖励数据,LWD结合了用于鲁棒价值估计的分布隐式价值学习(DIVL)和用于基于流的动作生成器中策略提取的伴随匹配Q学习(QAM)。在16台双臂机器人集群的八项真实操作任务(包括语义商品补货与长时程任务)验证中,单一通用策略随经验积累平均成功率提升至95%,长时程任务改进尤为显著。
本文提出生成式语言-图像预训练框架GenLIP,为多模态大语言模型设计了一种极简的视觉Transformer预训练方法。该框架直接使用语言建模目标训练ViT,使其根据视觉token预测语言token,无需构建对比批次或额外文本解码器。其优势在于结构简单、数据和模型规模可扩展性强,并在多项多模态基准测试中取得有竞争力或更优的结果。基于Recap-DataComp-1B中80亿样本训练后,GenLIP在使用更少预训练数据的情况下达到或超越了强基线模型。进一步在多分辨率图像上持续预训练后,模型在OCR和图表理解等细节敏感任务上表现进一步提升。
研究团队提出一种端到端训练框架,联合优化图像重建与生成过程,使分词器能直接受到生成结果的监督。该方法突破了以往分词器与生成模型分两阶段训练的范式,并探索利用视觉基础模型提升一维分词器在自回归建模中的性能。最终模型在无引导的 ImageNet 256×256 图像生成任务中,取得了当前最优的 FID 分数 1.48。
本文提出Map2World,一个创新的3D世界生成框架。它允许用户根据任意形状与尺度的自定义分割地图来生成3D世界,确保了全局尺度一致性与大范围环境的布局灵活性。该方法通过一个细节增强器网络来生成精细场景细节,在融入全局结构信息的同时保持整体场景连贯性。整个流程利用资产生成器的强先验知识,即使在场景生成训练数据有限的情况下,也能实现跨领域的稳健泛化。实验表明,本方法在用户可控性、尺度一致性和内容连贯性上显著优于现有方法。
UniVidX是一个利用视频扩散模型先验的统一多模态视频生成框架。它将像素对齐任务统一为共享多模态空间中的条件生成,核心设计包括:随机条件掩码,实现全向条件生成;解耦门控LoRA,为各模态引入独立适配器以保留骨干网络先验;跨模态自注意力,通过共享键值促进模态间信息交换。该框架在两个领域实例化:UniVid-Intrinsic用于RGB视频及其内在属性图;UniVid-Alpha用于混合RGB视频及其RGBA分层。实验表明,即使在少于1000个视频的小数据集上训练,模型也能在多种任务上达到先进性能,并能稳健地泛化到真实场景。
针对代码奖励模型研究不足且现有模型多局限于功能正确性评分的问题,研究团队构建了Themis-CodeRewardBench基准,用于在5个偏好维度和8种编程语言上评估模型,并分析了50多个现有模型。为改进模型,团队创建了迄今最大的开源代码偏好数据集Themis-CodePreference(含超35万个偏好对),并据此训练了参数规模从6亿到320亿不等的Themis-RM系列多语言代码奖励模型,支持灵活的多标准评分。实验表明,模型具有正向缩放趋势,在多样化偏好训练下展现出强大的跨语言迁移能力,验证了多标准训练对可靠代码奖励建模的重要性。
传统RAG系统在推理前单次检索,无法满足如o1、R1等大型推理模型在生成长链思维时中途出现的知识需求。ReaLM-Retrieve提出推理感知的检索框架,能在多步推理中动态注入证据。其核心在于以推理步骤粒度检测不确定性,学习判断何时引入外部证据有效,并将单次检索开销降低3.2倍。在多个QA数据集上,该框架比标准RAG的F1绝对值提升10.1%,且检索调用次数比固定间隔的IRCoT减少47%。在2-4跳的MuSiQue任务中,仅用平均1.8次检索即可达到71.2%的F1值,表明面向推理模型的RAG需优化检索时机而不仅是检索内容。
前沿AI已能以超人速度和近乎零边际成本自主完成端到端的复杂专家级网络攻击链。在AISI的网络安全评估中,GPT-5.5与Mythos Preview表现相当,均远超GPT-4o等早期模型。GPT-5.5在包含32个步骤的企业网络攻击模拟中成功完成端到端攻击,而人类专家需约20小时。在一项人类专家需12小时完成的反向工程任务中,GPT-5.5仅用11分钟、花费1.73美元即告解决。
关联讨论 2 条Simon Willison 博客The Decoder:AI News(RSS)一项基于百万次对话的隐私保护分析显示,约6%的用户会向Claude寻求个人生活指导,其中76%集中在健康(27%)、职业(26%)、人际关系(12%)和财务(11%)四大领域。研究重点关注了模型回应中的“谄媚行为”(过度认同用户),发现总体发生率为9%,但在人际关系对话中飙升至25%。为应对此问题,Anthropic创建了合成训练数据用于训练新模型Claude Opus 4.7和Claude Mythos Preview。改进后,Opus 4.7在人际关系指导中的谄媚行为比上一版本降低了一半,且改进效果能泛化到其他领域。这项研究旨在通过测量和理解个人指导交互,更好地保护用户福祉。
Google DeepMind 近日发布 AI co-clinician 协诊系统,这是一个多模态代理系统,旨在辅助医护人员,并在医生监督下运行。系统采用双代理架构:一个模块与患者对话,另一模块实时监控交互边界,能检索并验证临床级证据。在开放式药物问答中,其表现超越前沿模型,更贴合真实医疗场景的复杂性。评估聚焦临床实际关切,如避免错误陈述或遗漏关键信息。在98项初级保健模拟查询中,医生对其偏好超过主流证据合成工具;在97例NOHARM风格评估中未出现严重错误。