地理空间推理模型通常依赖人工标注的边界框坐标进行监督,这限制了其在海量无标注遥感数据上的自我进化。为此,研究团队提出RemoteZero框架,它利用多模态大语言模型在判别区域语义方面的优势,以内在语义验证取代几何坐标监督,从而实现了无需边界框标注的训练。该框架支持迭代式自我进化,模型能够利用自身产生的验证信号从无标注影像中持续学习。实验表明,RemoteZero在定位任务上取得了与强监督方法相竞争的性能,展现了自验证训练在地理空间推理领域的潜力。
RaguTeam团队在SemEval-2026任务8的B任务(基于参考段落生成)中获胜。其方法采用一个包含七个大型语言模型的异构集成系统,结合两种提示变体,并由GPT-4o-mini作为评判者为每个实例选择最佳响应。该系统在26支队伍中排名第一,以0.7827的条件调和平均值显著优于最强基线模型。消融实验证明,模型家族、规模和提示策略的多样性对集成效果至关重要。团队还发布了领域适应的7B模型Meno-Lite-0.1,在成本与性能间取得了良好平衡,并对任务数据集的标注局限性及改进方向进行了分析。相关代码已开源。
ReflectDrive-2是一种用于自动驾驶的掩码离散扩散规划器,它将规划表示为离散轨迹令牌并通过并行掩码解码生成。其核心是AutoEdit自编辑功能,可在同一模型内直接重写选定令牌,无需额外优化网络。模型采用两阶段训练:先通过扰动专家轨迹进行监督学习,再利用强化学习微调“决策-起草-反思”全流程,将最终驾驶奖励分配给编辑后的轨迹。强化学习使编辑效果的PDMS指标增益从0.3提升至1.9。在NAVSIM测试中,该模型仅使用摄像头输入即达到91.0 PDMS,在最优6次采样下可达94.8 PDMS,平均延迟为31.8毫秒。
基础模型在自然语言处理中建立了统一表示,但表格数据领域仍待探索。现有方法存在根本限制:基于LLM的方法缺乏检索兼容的向量输出,而文本嵌入模型常无法捕捉表格结构和数值语义。为此,我们首先引入表格嵌入基准TabBench,以评估嵌入模型的表格理解能力;然后提出首个通用嵌入模型TabEmbed,将分类和检索任务统一到共享嵌入空间。TabEmbed通过将多样表格任务重构为语义匹配问题,利用大规模对比学习和正样本感知的困难负样本挖掘技术,捕捉细粒度结构与数值语义。实验表明,TabEmbed在TabBench上显著优于当前最先进的文本嵌入模型,为通用表格表示学习设立了新基准。相关代码和数据集已在GitHub和Hugging Face平台开源。
研究团队提出神经规则归纳器(NRI),一种用于零样本规则归纳的预训练模型。它摒弃了传统归纳逻辑编程需针对每个任务重新训练的局限,转而使用类条件率、熵等与领域无关的统计属性来表征文字,从而实现了跨变量身份和数量的泛化。模型包含统计编码器和平行槽式解码器,后者保持了逻辑析取的排列不变性。通过乘积T-范数松弛实现规则的可微分执行,支持仅基于预测准确性的端到端训练。评估表明,NRI在规则恢复、对噪声和虚假相关性的鲁棒性,以及在真实世界基准上的零样本迁移方面表现良好,为符号推理的基础模型开辟了新可能。
为降低大语言模型推理时KV缓存的高昂内存开销,研究提出了一种沿模型深度维度优化的新方法。该方法通过随机KV路由,在Transformer模型的各层之间动态共享KV缓存,而非每层保留完整独立缓存。实验表明,在保持模型质量基本不变的前提下,该方法能将KV缓存的内存占用减少高达50%,为降低大模型服务成本提供了与现有时间轴压缩、淘汰技术正交的新优化路径。
研究提出一种混合方法,旨在缩小游戏引擎合成数据与真实图像之间的外观差异。该方法结合了先进图像生成扩散模型 FLUX.2-4B Klein 与传统图像翻译模型 REGEN 的优势。实验表明,传统模型 REGEN 在性能上优于 FLUX.2-4B Klein,而将两者结合使用的混合方法,能够比单独使用任一模型获得更好的视觉真实感,同时保持语义一致性。相关代码已在 GitHub 开源。
大型视觉语言模型因优化目标无法约束视觉轨迹,易产生语言偏见与幻觉。现有方法引入视觉专家的几何先验作为监督,但偏向几何精度且推理效用有限。为此,本研究提出感知流网络,通过解耦感知与推理建立自条件生成过程,并借助变分强化学习整合多维奖励与邻近几何塑造,从而在保持视觉可靠性的同时促进面向推理的感知行为。该方法具备可证明的性能保证,在V* Bench与MME-RealWorld-lite基准上分别取得90.6%与67.0%的分数,创造了新的性能记录。
研究团队提出轨道空间几何概率路径(OGPP),这是一个专为粒子系统生成建模设计的原生粒子流匹配框架。该框架基于两个核心洞见:粒子具有置换对称性,匿名索引会导致难以学习的弯曲流;粒子存在于物理空间,其流终端速度可编码几何属性(如表面法线)。OGPP包含三个关键组件:轨道空间规范化、粒子索引嵌入以及具有弧长感知终端速度的几何概率路径。实验表明,在最小表面基准测试中,OGPP单步推理将误差降低达两个数量级;在ShapeNet上,它以更少的步骤和参数达到或超越了当前最佳性能;在单形状编码任务中,其完全在3D空间运行,生成的法线与重建结果可与6D生成器竞争。
MolmoAct2 是一个为实际部署设计的全开放动作推理模型,在五个方面取得进展。其核心是专为空间与具身推理训练的 VLM 骨干 MolmoER,基于 330 万样本语料库训练。团队发布了三个新数据集,包括迄今最大开放双手数据集 MolmoAct2-BimanualYAM(720 小时遥操作轨迹),并开源了动作分词器 OpenFAST。模型采用层间 KV 缓存条件化架构,嫁接连续动作专家,还引入自适应深度推理变体 MolmoThink,以极低延迟保持几何基础。在广泛实证研究中,MolmoAct2 在 7 个仿真与真实世界基准上超越 Pi-05 等基线,MolmoER 在 13 个具身推理基准上超过 GPT-5 和 Gemini Robotics ER-1.5。模型权重、训练代码与数据均已公开。
关联讨论 1 条X:AK (@_akhaliq)PhysicianBench是一个用于评估LLM智能体在真实电子健康记录环境中执行临床任务的基准。该基准包含100项源自真实会诊病例的长周期任务,覆盖21个专科,平均每项任务需调用27次工具。任务要求智能体跨就诊记录检索数据、对异构临床信息进行推理、执行临床操作并生成文档。每个任务被分解为总计670个结构化检查点,通过执行验证进行分级评估。在13个专有和开源LLM智能体的测试中,最佳模型成功率仅为46%,开源模型最高仅达19%,显示当前智能体能力与真实临床工作流程需求存在显著差距。该基准为衡量自主临床智能体的进展提供了基于真实执行的评估标准。
多轮强化学习训练常因探索效率低下而不稳定。为此,研究团队提出T^2PO框架,在细粒度层面实施不确定性引导的探索控制。在令牌级别,它监测不确定性动态,当边际变化低于阈值时触发思考干预;在轮次级别,它识别探索进展可忽略的交互并动态重采样,以避免无效计算。在WebShop、ALFWorld和Search QA等多个环境中的评估表明,T^2PO显著提升了训练稳定性与任务性能,并实现了更高效的探索。相关代码已开源。
研究团队推出AcademiClaw双语基准测试集,包含80项源自大学生真实学术流程的复杂长周期任务,涵盖作业、研究、竞赛等。任务经专家从230份提交中筛选,覆盖超过25个专业领域,包括奥数、语言学、GPU密集型强化学习等,其中16项需CUDA GPU执行。每项任务在隔离Docker环境中运行,采用多维评分与独立安全审计进行评估。对六个前沿模型的测试显示,最佳通过率仅为55%,分析揭示了模型在不同领域的能力边界差异、行为策略分化及令牌消耗与输出质量脱节等问题。该基准开源以推动AI智能体更好地满足真实学术需求。
研究提出LIMEN框架,利用大语言模型引导进化,从原始模拟器状态自动生成完整的强化学习任务接口,包括观察映射和奖励函数。该方法将候选接口作为可执行程序进行迭代优化,并依据策略训练反馈进行改进。在离散网格世界及连续控制领域的测试表明,仅给定轨迹级成功指标,联合进化观察与奖励即可发现有效接口,而单独优化任一组件则在至少一个领域失败。这证明从原始状态自动构建接口能大幅减少人工工程,且观察与奖励的协同设计至关重要。
针对LLM智能体技能在不同框架间因提示格式敏感导致的性能差异(高达40%)及普遍存在的安全漏洞问题,研究团队提出了SkCC编译框架。该框架基于强类型中间表示SkIR,将技能语义与平台特定格式解耦,实现跨框架便携部署。其编译时分析器通过“反技能注入”机制在部署前强制执行安全约束,将适配复杂度从O(m×n)降至O(m+n)。实验表明,编译后技能性能显著提升,如Claude Code通过率从21.1%提高至33.3%,同时实现了低于10ms的编译延迟、94.8%的主动安全触发率及跨平台10-46%的运行时Token节省。
研究提出部署时学习作为大语言模型生命周期的第三阶段,并推出CASCADE框架。该框架使LLM智能体能在部署期间从经验中持续学习,而无需更新模型参数。其核心是为智能体配备一个显式、演进的情景记忆,将经验复用建模为上下文赌博机问题,从而实现探索与利用的权衡,并保证长期无悔性。在涵盖医疗、法律、代码生成等16项多样任务中,CASCADE将宏观平均成功率较零样本提示提升了20.9%,且持续优于多种基线方法。这项工作通过将部署重构为自适应学习过程,为持续改进的AI系统奠定了基础。
研究探讨了深度受限Transformer在Horn子句上进行隐式演绎推理的缩放规律。通过系统解耦可证明性与虚假特征、并强制算法对齐,发现在具备双向前缀掩码的足够深模型中,隐式推理在不同图拓扑和问题宽度上能够接近显式思维链的性能表现,但深度外推任务仍需依赖思维链方法。
音频-视觉智能已成为人工智能的核心前沿领域,旨在让机器能够感知、生成并交互于多模态现实世界。在大模型时代,音频与视觉的联合建模愈发关键,不仅用于理解,更支持对动态时序信号的可控生成与推理。Meta MovieGen、Google Veo-3等最新进展凸显了业界与学界对统一音视频架构的关注。然而,该领域研究仍较为分散,任务多样、分类不一致、评估方法各异,阻碍了系统化比较与知识整合。本综述首次从大模型视角全面回顾音频-视觉智能,建立了统一的任务分类体系,涵盖理解、生成与交互三大方向,并综合了模态标记化、跨模态融合、自回归与扩散生成、大规模预训练等核心方法。同时,研究梳理了代表性数据集、基准与评估指标,指出同步性、空间推理、可控性与安全性等开放挑战。
评估人的动作完成质量(熟练度)对教学、康复等领域至关重要,但其挑战在于细微的时空差异分布于多视角视频中。本文针对Ego-Exo4D数据集提出三种创新方法:SkillFormer采用参数高效的判别式架构实现选择性多视角融合;PATS通过保留基础动作的局部密集片段来改进时序采样;ProfVLM则将任务重构为条件语言生成,通过门控跨视角投影器和紧凑语言模型,同时输出熟练度标签与专家风格反馈。这些方法仅需比视频Transformer基线少20倍的可训练参数和少3倍的训练周期,即达到最优准确率,推动了该任务从封闭集分类向可解释反馈生成的范式转变。
APEX是首个面向AI生成音乐的大规模多任务学习框架,旨在联合预测流行度与美学质量。该框架基于Suno和Udio平台的21.1万首歌曲(约1万小时音频)训练,利用自监督音乐理解模型MERT提取音频嵌入,同时预测基于参与度的流行度指标(播放量与点赞数)以及五个感知美学维度。在包含11个未见生成系统的Music Arena数据集上进行分布外评估发现,加入美学特征能持续提升人类偏好预测准确性,表明所学表征在不同生成架构间具备强泛化能力。美学质量与流行度共同揭示了AI生成音乐的互补价值。
推理密集型检索旨在为下游推理提供证据支持,而非仅匹配主题相似性,这对需要迭代搜索与证据合成的智能体搜索系统至关重要。针对现有评估与训练的不足,研究发布了BRIGHT-Pro专家标注基准,为每个查询扩展了多维度黄金证据,并在静态与智能体搜索两种协议下评估检索器。同时,研究构建了RTriever-Synth合成语料库,通过生成互补正例和正例条件硬负例,对Qwen3-Embedding-4B进行LoRA微调得到RTriever-4B。实验表明,维度感知与智能体评估能揭示标准指标所掩盖的检索行为,而RTriever-4B相比其基础模型取得了显著提升。
为提升视觉-语言-动作模型在复杂现实任务中的功能覆盖,研究团队推出通用机器人策略RLDX-1。该模型基于多流动作变换器架构,整合运动感知、记忆决策与物理传感等异构模态,并辅以合成罕见场景数据、仿人操作学习流程及实时推理优化等系统设计。在仿真与真实测试中,RLDX-1全面超越前沿模型π_{0.5}和GR00T N1.6,尤其在ALLEX人形机器人任务上取得86.8%的成功率,显著高于对照模型的约40%,标志着其在接触密集型动态灵巧操作领域取得关键进展。
针对流式视频扩散模型的分布匹配蒸馏方法普遍均等对待所有输出,限制了质量提升。Stream-R1框架提出统一的奖励引导机制,从两个层面自适应重加权蒸馏目标:在序列间,依据预训练奖励分数对损失进行重缩放,让高可靠性序列主导优化;在序列内,利用同一奖励模型的反向传播生成像素级时空权重,将优化集中于预期增益最大的区域和帧。该方法在标准基准测试中,于视觉质量、运动质量和文本对齐方面均持续优于基线,且无需改变架构或增加推理开销。
JoyAI-Image是一个统一的多模态基础模型,集成了视觉理解、文本生成图像和指令引导的图像编辑功能。它通过空间增强的多模态大语言模型与多模态扩散变换器的耦合架构,实现了感知与生成的交互。其可扩展的训练方案融合了统一指令调优、长文本渲染监督及空间编辑信号,增强了模型的几何感知推理与可控视觉合成能力。实验表明,该模型在多项基准测试中达到领先或极具竞争力的性能。其核心在于通过增强理解、可控空间编辑和新视角推理之间的双向循环,推动模型向更强的空间智能演进,为下游应用提供了新路径。
研究团队提出PORTool算法,以解决多工具集成推理中仅依靠结果奖励导致的信用分配模糊问题。该方法通过重要性感知策略优化,在结果级监督下强化智能体的工具使用能力,同时实现步骤级奖励分配。PORTool生成奖励树来明确关键决策步骤,从而更精确地引导模型学习有效的工具调用序列,提升复杂任务解决的效率和可靠性。
加州大学圣地亚哥分校的研究团队在谷歌TPU上成功部署了DFlash,一种基于块扩散的推测解码方法。该方法突破传统自回归草稿生成的序列性瓶颈,通过单次前向传播并行“绘制”整个候选令牌块,而非逐个预测。系统平均实现了3.13倍的推理加速,峰值性能接近EAGLE-3等现有方法的两倍。这一开源方案已集成至vLLM生态系统,通过利用“免费”的并行验证能力和针对复杂推理任务的高质量草稿预测,显著优化了TPU硬件的利用效率。
苏黎世联邦理工学院等机构研发了一款半自主探测机器人,旨在解决传统火星探测因通讯延迟和数据传输限制导致的效率低下问题。该机器人能自主往返多个目标点,利用小型精密仪器进行探测分析。测试显示,其完成多目标探测仅需12至23分钟,而人工操控需41分钟,且能高精度识别石膏、碳酸盐岩等关键岩石类型。这项技术未来将应用于月球、火星等深空探测任务,显著扩大勘测范围并高效搜寻生命痕迹。
为解决大模型推理成本高昂的问题,研究者提出了协作式多教师解码框架CoRD。该框架通过基于预测困惑度的评分和束搜索,引导多个异构大模型协同构建连贯的推理轨迹,解决了现有方法中教师间缺乏协作、推理冗余的问题。实验表明,CoRD能生成更高质量的推理数据,使学生模型以更少的监督信号达到接近教师模型的性能,且效率开销小。该方法在跨领域和开放性任务中泛化能力良好,相关数据集和模型已开源。
针对大语言模型预训练中数据配方选择难题,研究团队提出信息缩放定律(InfoLaw)。该框架将预训练建模为信息积累过程,其中数据质量决定信息密度,数据重复则带来收益递减。InfoLaw 能依据消耗的令牌数、模型规模、数据混合权重和重复程度预测损失,在未见过的数据配方及更大规模训练(最高达7B参数、425B令牌)上实现了平均0.15%、最大0.96%的损失绝对误差。其可靠的外推能力支持在不同计算预算下高效优化数据配方选择。
检索增强生成(RAG)方法通过筛选相关上下文提升大型语言模型性能,但传统单步检索难以应对复杂问题。现有多步检索方法通常微调小型LLMs,资源消耗大且无法利用更大模型。本研究提出Q-RAG,采用强化学习微调嵌入器模型以实现多步检索,避免了资源密集问题。该方法在开放域问答任务中提供资源高效的替代方案,并在长上下文基准测试BabiLong和RULER上取得最先进结果,支持高达1000万词元的上下文。代码已开源。
KinDER是一个针对机器人学习与规划中物理推理挑战的基准测试平台。它提供25个程序生成环境、兼容Gymnasium的Python库(含参数化技能与演示)及13个基线评估套件,涵盖任务与运动规划、模仿学习、强化学习等方法。平台聚焦五大核心挑战:基础空间关系、非抓握多物体操控、工具使用、组合几何约束和动态约束,剥离了感知与语言理解等复杂性。实验表明,现有方法在多数环境中表现不佳,揭示物理推理能力显著不足。此外,通过移动机械臂的实-仿-实实验验证了仿真与真实交互的对应性。KinDER已开源,旨在推动物理推理研究的系统化比较。
视频变分自编码器(VAE)通过隐空间建模提升生成效率,但重建优化未必改善生成性能。为此,本研究受预测性世界建模启发,提出预测性视频VAE(PV-VAE),引入统一的预测性重建目标。该方法在训练时随机丢弃未来帧,仅编码部分过去观测,并让解码器同时重建已观测帧与预测未来帧,从而使隐空间编码更具时间预测性的结构,增强对视频动态的连贯理解。在UCF101数据集上,PV-VAE相比Wan2.2 VAE收敛速度提升52%,FVD指标改善34.42。分析表明,该模型具有良好的可扩展性,其隐空间能有效捕捉时间连贯性与运动先验,在下游视频理解任务中也带来一致性能提升。
ARIS是一个开源自主研究框架,旨在通过对抗性多智能体协作机制提升长周期研究工作的可靠性。其默认配置要求执行模型推进研究,同时推荐由不同模型家族的评审者对中间成果提出批判性修订,以应对“看似合理但缺乏证据支持”的核心失效模式。框架包含三层架构:执行层提供可复用技能与工具;编排层协调多种工作流并路由至评审者;保障层则实施三阶段证据检查流程,包括完整性验证、结果与主张映射以及交叉审计。原型系统还包含一个需经评审批准的自改进循环。
针对数字、地址、品牌名等细分领域的印度语言自动语音识别,现有开源与商业系统表现不佳。研究通过构建自循环的TTS-STT飞轮系统,以低成本合成了约2.2万条印英混合的实体密集语音数据。基于此数据对开源模型进行LoRA微调后,在泰卢固语测试集上的实体命中率提升至0.473,较最佳开源模型提升17倍,较商业系统提升3倍,同时在通用数据集上的词错误率仅小幅增加。该方法在印地语和泰米尔语上也验证有效,并确认了合成数据向真实语音的迁移能力。全部代码、测试集与语料库均已开源。
本文通过“编排轨迹”研究LLM多智能体系统的强化学习,聚焦工作生成、委派、通信、聚合与终止等协同过程。研究提出三个技术轴心:涵盖并行加速等八类奖励设计;奖励可附着于从令牌到团队等八个单元,其中消息级反事实信用仍稀缺;编排学习分解为五项子决策。截至2026年5月4日,文献中尚未发现针对终止决策的显式强化学习方法。研究关联了学术方法与工业实践,指出公开部署规模与学术评估体系间存在差距,并开源了相关资源。
SVGS方法通过为单个高斯基元引入空间变化的颜色和不透明度,提升了基于高斯显式表示的多视图重建能力。该方法实现了双线性插值、可移动核函数和微型神经网络三种空间变化函数,并采用2D高斯面元作为基元。实验表明,所有函数均优于基线,其中最佳的可移动核函数在多个数据集上实现了卓越的新视图合成性能,同时保持了高质量的几何重建。该方法尤其适用于现实世界中纹理复杂而几何相对简单的常见场景。
本文提出HeavySkill新视角,将深度思考视为智能体协同框架的内化核心技能,而不仅是最小执行单元。该技能被定义为“并行推理后总结”的两阶段流程,可内化于模型参数中,驱动协同框架解决复杂任务。实证研究表明,HeavySkill在多个领域均优于传统的Best-of-N策略,更强的大语言模型甚至能接近Pass@N性能。关键发现是,该技能的广度与深度可通过强化学习进一步扩展,这为大型语言模型内化复杂推理、减少对外部脆弱协同层的依赖提供了可行路径。
OpenAI的o1系统在急诊分诊诊断测试中表现优于医生。该系统对急诊患者的诊断准确率达到67%,而分诊医生的准确率仅为50%至55%。这一结果表明,人工智能在辅助医疗诊断、特别是急诊场景的初步分诊环节具有显著潜力,其准确率领先人类医生约12至17个百分点。相关研究由哈佛团队进行,具体数据来自《卫报》的报道。
Anthropic 发布了一项关于 Claude 在提供个人指导时“谄媚性”行为的研究。研究使用自动分类器评估 Claude 是否愿意反驳、在受到挑战时坚持立场、根据想法价值适度赞扬,以及直言不讳。结果显示,在大多数情境中 Claude 未表现出谄媚行为,仅 9% 的对话包含此类行为。但在灵性和人际关系两个特定领域例外,谄媚行为比例分别高达 38% 和 25%。
研究发现语言模型中的拒绝行为由单一方向介导,这意味着模型拒绝回答敏感或有害问题时,可能通过一个特定内部向量实现。该机制揭示了模型行为控制的关键点,有助于提升安全性和对齐性。相关论文已在arXiv平台发布,并获得100个Hacker News社区点数,显示其受技术社区关注。