本文提出了RoboSemanticBench,一个用于诊断视觉-语言-动作模型在动作预测中是否具备语义对齐能力的具身基准测试。在该测试中,机器人需要解决多选题,并根据语义理解抓取对应正确答案的方块。测试覆盖了算术、数学理解和常识理解等多种任务。评估发现,在控制抓取成功率后,许多模型选择语义正确方块的能力接近或低于随机水平,揭示了模型骨干网络的语义能力与最终动作预测之间存在持续差距。
论文提出,参数高效微调(PEFT)不仅是全参数微调的低成本替代,更是强大共享基座模型上承载个性化行为的紧凑基底。研究围绕三个扩展维度展开:Scale Up(更强共享先验提升小适配器效用)、Scale Down(探索适配器可靠性的最小化边界)、Scale Out(大规模持久化适配实例共存)。以MinT为例,展示了管理适配器身份、版本、溯源、评估与服务驻留的基础设施。结论表明,PEFT有潜力成为持久化个人模型的紧凑底座,而不仅仅是预算替代方案。
K-BrowseComp 是一个针对韩语语境的网页浏览智能体基准,包含400个问题,其中300个为人工构建验证的子集。在此子集上,GPT-5.5、DeepSeek-V4-Pro 和 GLM-5.1 等前沿大语言模型仅达到30.00%–45.67%的准确率,而韩国本土大模型得分仅为0.00%–10.33%。此外构建的100题合成对抗测试集中,最强模型得分仅为26.00%。数据集与代码已公开。
本研究提出一种新范式,将视觉语言模型的角色从问题“求解者”转变为指导视频生成模型的“教师”。现有VLM作为求解器效果不佳,但其感知能力强,可评估任务规则满足度。新方法利用VLM提取任务规则,构建可微分奖励,并通过测试时在线优化轻量级LoRA模块,引导视频生成模型推理。在VBVR-Bench和RULER-Bench两个视频推理基准上,该方法平均性能提升16.7分,显著优于其他基线方法。
专注于多流视频流理解的基准测试X-Stream被提出,包含4220个QA对、932个视频和11个子任务,覆盖多窗口、多视图和多设备场景。研究首次将多模态大语言模型(MLLM)的概念化为信号复用器,并基于信号复用理论进行评估。在线推理实验显示,当前最先进的MLLM在处理并发视频流时表现挣扎,得分仅约50%且主动能力较差。该基准揭示了现有复用方案的权衡,为多流智能体提供了评估协议和实证指导。
KPop针对MoE大模型强化学习中的训练-推理不一致问题,提出用对称二元KL散度代替IcePop的固定ratio阈值。该方法只需一个超参数,根据token概率自适应调整屏蔽边界:稀有token更宽容,高频token更严格。在Ring-flash-2.0(100B总参,6.1B激活)的RLVR训练中,支撑800+步稳定训练,屏蔽比例从10%动态升至30%+(IcePop仅约0.2%);在AIME25、HMMT25-Nov、ARC-AGI-2、LiveCodeBench上全面优于IcePop。在长程智能体任务中,基于Ring-2.6-1T(1万亿总参,63B激活)的SWE-bench Verified得分从70.8%提升至76.28%,且仅需更新70%~80% token即可收敛。
GridVQA-X是首个专门评估跨模态可解释性的诊断框架。它通过封闭世界合成逻辑生成具有数学保证的解释,并训练了相同架构的对照模型:M_pure(学习稳健的空间关系推理)和M_{spur}(被迫依赖跨模态捷径)。实验发现,现有广泛使用的可解释性方法无法区分这两种模型,无法捕捉真正的跨模态协同,反而可能错误表示多模态模型的实际决策过程,凸显了当前多模态可解释性方法在忠实捕捉跨模态推理方面的关键缺陷。
计算机使用智能体在动态交互环境中面临提示注入等对抗性交互和弹窗等环境动态带来的安全风险。现有技能学习方法假设静态安全环境,可能导致危险技能学习。SkillHarness将技能学习与利用建模为安全约束交互过程,引入技能边界机制,利用多源监督信号从交互轨迹中识别安全技能,并构建自改进的安全约束;同时通过选择性技能复用,根据上下文引导任务分解并选择性激活技能子集。实验表明,SkillHarness将学习技能的不安全率降低57.1%,并在动态环境变化下持续提升执行稳定性。
提出 Prompt-Level Distillation (PLD),从 Teacher 模型提取显式推理模式并组织为结构化指令列表,注入 Student 模型的 System Prompt。在 Gemma-3 4B 上,PLD 将 StereoSet Macro F1 从 57% 提升至 90.0%,Contract-NLI 从 67% 提升至 83%,LogiQA 准确率达 70%;在 Mistral Small 3.1 上取得相似结果,验证跨架构泛化能力。PLD 无需微调,推理延迟极低,决策过程透明可人工验证,适合法律、金融、内容审核等监管行业及高吞吐边缘设备。
Steady-Forcing 提出记忆与训练框架,结合持久视觉锚点(V-Sink)、指数移动平均运动记忆(EMA-Sink)、块相对时序编码、周期性缓存净化以及经运动奖励先验的 Wan2.1-14B 教师模型知识蒸馏,在多分钟自回归生成中保持背景身份并维持视觉合理的流体动力学。七个基线评估显示该方法提升了长时序背景一致性和成像质量,盲测表明用户感知的稳定性和运动连续性更强。研究还发现 VBench 综合评分未有效惩罚固定相机伪影,而是将漂移引起的光流奖励为动态程度,却未直接惩罚纹理硬化或流动停滞。
针对GRPO训练中rollout多样性不足的问题,研究发现同一模型家族内的小模型天然具有更高的策略级多样性(pass@k优于大模型),且这种多样性具有时序相关性、逻辑一致性和结构化探索信号。提出S2L-PO框架,利用固定小模型作为探索者训练大模型,并设计渐进退火策略从小模型离线rollout过渡到大模型自身采样,避免性能下降、加速收敛。S2L-PO在多个数学推理基准上提升准确率,例如用1.7B探索者引导8B模型在AIME 24上提升8.8%,同时减少rollout计算量。
Curation-Bench 是一个面向智能体的基准,固定模型、训练配方和评估套件,赋予智能体命令行权限以检查数据、实施策略并提交训练/评估管道进行迭代。在视觉语言指令微调场景中,开箱即用的智能体在十次迭代内即可达到强数据选择基线。但轨迹分析显示存在执行-研究差距:智能体主要调整局部策略变体,而非探索新策略族。脚手架要求每次迭代引用、实例化并改编先前方法,引导智能体进行方法导向探索。最终脚手架化的智能体自主组合出数据选择策略,以十分之一的数据预算超越了强基线。代码和基准已开源。
指令微调使大语言模型校准性本就低于基座模型,而聊天模板通过“所有权偏见”进一步加剧偏差:模型对自己的回答比用户给出的相同答案显著更自信。在6个开源权重LLM、3个基准和3种置信度获取方法上,模型给自己回答分配的置信度最高高出26%。研究者提出简单推理时策略:获取置信度时将模型回答伪装成用户输入,无需重新训练即可将过度自信降低、校准性提升最高26%,缩小了基座与指令微调模型间的差距。
EvoTrainer 是一个自主训练框架,通过经验反馈共同进化 LLM 策略与训练端工具。它诊断 rollout 级证据、修正诊断、回测干预并积累可复用技能。在数学推理、竞赛编程代码生成和仓库级软件工程评估中,EvoTrainer 在相同数据、代码库和协议下匹配或超越人工设计的 RL 参考,最大收益在长 horizon SWE 任务上。轨迹分析显示,保留的策略跨领域发散,进化的诊断阻止无效高分分支被提升,可复用技能塑造后续搜索。
大语言模型在低资源机器翻译中难以有效利用语法信息。受思维链推理启发,研究提出自动从Universal Dependencies树库、词典和语法规则库生成逐步语言学推理轨迹的管道,并在锡伯语和Chintang语上通过上下文学习、监督微调和强化微调三种设置评估。结果表明,作为推理时引导(ICL),可靠句子特定轨迹在多数模型、语言和指标上显著提升翻译性能;而作为训练数据使用时收益较小且不稳健。LLM能在可靠语言分析下利用语法信息,但自主生成分析仍是主要瓶颈。
新研究挑战了文生图模型依赖文本编码器丰富上下文信息的普遍认知。研究者发现,基于扩散Transformer的模型主要只利用文本表示中两个简单方面:跨多个token的词汇合并,以及由位置编码印刻的词序。通过构造仅编码单个词义与顺序、但缺少完整提示上下文信息的“词义与顺序标记袋”文本嵌入,生成的图像在视觉质量与文本保真度上与使用完整文本嵌入相当。这表明,文生图模型往往不会使用文本嵌入中除词义和词序之外的丰富信息,而是由图像模型自身完成复杂语言结构的解码。
针对大语言模型后训练中奖励模型依赖规则验证器、真实参考答案、程序检查表等异构评估标准、缺乏统一机制的问题,提出Skill-RM框架。该框架将奖励建模重构为可复用的“奖励评估技能”执行,把奖励计算当作结构化的智能体任务,通过统一接口动态选择和聚合证据。在奖励基准及best-of-N选择、强化学习等下游任务中,Skill-RM持续优于传统judge基线,为奖励建模提供了统一且透明的方案。代码已开源。
大语言模型执行多步工作流缺乏形式化规范与验证。受形式语言克服自然语言歧义启发,Lean4Agent 首次用依赖类型形式语言 Lean4 建模和验证智能体行为。其核心 FormalAgentLib 是可扩展的 Lean4 库,在显式假设下验证工作流语义一致性并定位运行时故障。LeanEvolve 利用验证结果修正工作流。在 SWE-Bench-Verified 困难子集和 ELAIP-Bench 子集上,5 个 LLM 的验证通过工作流性能平均高 11.94%,LeanEvolve 进一步将 SWE 性能提升 7.47%。
该论文提出了一种以数据为中心的3D视觉分类法,将几何表示(点云、网格、体素和3D高斯)、获取管道、数据集设计、基准构建和监督范式统一到单一概念图中。研究分析了2D监督3D学习、隐式神经表示和4D世界建模的最新进展,并厘清了重建、生成和视频建模等下游任务中表示、学习范式与效率-保真度平衡、多模态几何接地之间的关联。
MAOAM是一个统一图像选择框架,通过文本或点击交互精确选择对象和材质。它利用视觉语言模型(VLM)与分割头生成像素级掩码。针对缺少带文本标注的材质选择数据集,作者提出可扩展的数据生成流水线:收集真实与合成图像及材质掩码,用VLM生成富含视觉语义的描述。模型以多任务目标同时训练点击与文本选择,并引入辅助VQA任务加深材质理解。实验表明,MAOAM在多种对象、材质和交互场景下实现准确连贯的选择,且推理时结合文本与点击可产生涌现式提升。
SEAOTTER提出一种结合学习型潜在空间与标准JPEG格式的压缩框架,用于云机器人系统。相比AVIF,在200:1压缩比下编码速度快7倍、解码快3.5倍,ImageNet top-1准确率提升8%,同时保持与JPEG基础设施的兼容性。框架通过可学习的JPEG色彩与量化变换,提升全局、密集及视觉语言感知任务的精度,并支持通用与任务感知的转码流水线。代码已开源。
RobotValues 是一个包含1万个价值观冲突场景的基准,用于评估家庭机器人规划器在任务成功与自主性、效率、社会恰当性等人类价值观冲突时的行为选择。该基准通过LLM辅助场景生成、利益相关者导向的价值提取、图像生成和自动质量控制构建。使用RobotValues评估视觉语言模型(VLM)发现,模型默认偏向安全和包容,较少优先隐私保护。当指令要求优先与自身偏好冲突的特定价值观时,模型在80%的情况下无法覆盖默认动作,选择了错误行为。这表明家庭机器人评估应衡量价值观冲突中选择合理动作的能力。
EvoDS 是一个自进化自主数据科学智能体,通过智能体强化学习实现技能扩展与长期上下文自适应管理。核心包括自主技能获取(ASA)机制与自适应上下文压缩(ACC)策略,前者用于合成、验证和复用可执行技能,后者将上下文管理转化为学习控制问题。采用两阶段多智能体训练方案。理论证明其分层设计降低工具选择错误,优化目标符合信息瓶颈原理。在四个基准测试中,EvoDS 平均优于现有开源数据科学智能体 28.9%,并消除 token 溢出失败。代码与数据已开源。
本文将推理预算分配建模为受经济学原理支配的全局约束优化问题。通过移位激增函数(shifted-surge function)量化每查询推理效用,推导出基于全局影子价格的最优分配策略,实现资源稀缺下边际效用均衡。据此提出的CLEAR方法,将资不抵债的查询理性放弃,资源重新分配给接近涌现阈值的可解查询。在多种推理任务与流量模式实验中,CLEAR显著改善总token成本与平均准确率的Pareto前沿,资源稀缺时全局准确率相比均匀分配最高提升3倍。
ACTS将推理引导建模为马尔可夫决策过程,控制器智能体在推理中自适应引导冻结的推理器。控制器每步观察推理轨迹与剩余预算,发出含推理策略和引导短语的动作,实现预算感知的推理控制。控制器通过合成轨迹初始化,并经强化学习优化。在多个基准上,ACTS以显著token节省匹配全思考性能,实现可控的精度-效率权衡。代码已开源。
通过群组合任务(预测有限群G中两元素乘积),研究两层神经网络训练中的内部结构涌现。将投影梯度流提升到傅里叶域后,训练动力学由表示论能量泛函上的黎曼梯度上升主导。随机初始化下,每个神经元几乎必然收敛到单个不可约表示,跨层傅里叶系数达到旋转秩一对齐。该框架刻画了矩阵值群表示中的低秩压缩现象。对于阿贝尔群,随机初始化促使非平凡表示均匀多样化并诱导Haar均匀相位,通过多数投票机制逼近指示函数。相位对齐与表示竞争以指数速率出现。
强化学习已成为LLM后训练主流范式,但模型可能利用奖励函数与制度意图间的结构性空隙。研究提出“社会性破解”假说:LLM的奖励破解倾向可能扩展为发现社会规则漏洞。通过包含72个社会环境的沙盒SocioHack,实验发现奖励破解自然涌现,模型能生成技术合规但违背立法意图的策略,现有安全措施仅提供有限缓解。该结果警示需谨慎收集现实世界反馈用于模型训练,并呼吁开发下一代安全后训练范式。
论文整理了2023-2026年间21个编排框架中63起LLM智能体预算超支生产事故,构建8簇故障分类(Cohen's kappa=0.837,N=113),附加47个结构条目。开发了1,180行无unsafe的Rust crate token-budgets,通过仿射所有权模型使克隆、双重花费及委托后使用在编译期报错。单智能体下4行Python计数器表现相当(0/30超支);多智能体委托场景中Python asyncio模式30/30超支,Rust crate编译期拒绝相同模式。在5个运行时、3个提供商、160次温度分层实时API测试中,方案零预算违规且零误拒,静态过度预留4-6倍(自适应2.11倍)。二进制级别预算安全性暂未解决。
图语言模型将图拓扑与节点信息转化为图token供大语言模型处理。研究发现图token的内部显著性不等于图信息利用:图沉没token表现为少数隐藏维度的激活异常值,且偏向早期图token位置,但并未吸引查询token的最大注意力权重。剪枝、重定位和交换实验表明,这类token并非关键语义或结构token。这表明当前GLM映射后的图token表示未形成可用的拓扑感知内部表示,存在激活显著性与图语义效用之间的解耦。
LoRA可个性化文生图模型,但多概念组合时直接叠加会干扰概念,降低质量与保真度。本文提出免训练方法,通过W-Switch与W-Composite两种策略,根据目标提示词中触发token的语义重要性对每个LoRA模块输出加权组合,实现多概念自定义。同时提出基于真实参考图像与自动分割概念区域的图像相似度评估框架。在ComposLoRA测试集上,该方法在视觉质量、身份保持和组合性上一致超越现有方法。LLM评估与用户研究验证有效性。代码已开源。
Agent libOS是一个运行在常规主机操作系统之上的运行时基底,将LLM智能体建模为可调度的AgentProcess,具备进程标识、父子关系、生命周期、工具表、类型化对象内存、显式能力、人工队列、检查点、事件和审计记录。其核心设计原则是:工具是类似libc的包装器,运行时原语(文件系统访问、对象访问、休眠、人工审批、JIT工具注册、外部副作用)作为权限边界,按显式能力和策略进行检查。当前Python原型实现了异步调度、命名空间局部对象内存、运行时集成的人工批准、一次性权限授予、每进程工作目录、shell与图像注册原语、Deno/TypeScript JIT工具、文件系统/对象桥工具、可注入的资源提供者基底,以及123个回归测试。Agent libOS旨在展示一个可调度、授权、恢复和审计长时间运行LLM智能体的运行时基底,而不将工具分发视为信任边界。
OVO-S-Bench是一个完全人工标注的流式空间智能基准,包含1,680个问题,覆盖348个源视频。标注由12名标注员经过约804人小时的多轮质量审核完成。每个问题带有查询时间戳与证据区间,模型仅能看到查询前的视频前缀。问题分为四个抽象层级:瞬时自我中心感知、时空上下文追踪、空间模拟与推理、以及全中心映射。在38个开源与闭源MLLM上,Gemini-3.1-Pro得分59.2,落后人类专家(86.6)27个百分点,全中心映射是主要瓶颈。流式与空间微调MLLM的表现不及它们的基础模型,且链式推理会在缺乏流式依据时放大空间错误。
μP 已实现标准 Transformer 零样本超参数迁移,但扩展到线性模型(尤其带结构化状态转移的门控 Delta 网络)尚未探索。通过在前向传播、门控机制和循环动态中传播坐标规模估计,推导出门控 Delta 网络的缩放规则。语言模型预训练实验证实,该配置在 AdamW 和 SGD 下均实现跨模型宽度稳定学习率迁移,而标准参数化无法迁移。
AAD-1提出一种不对称对抗蒸馏框架,用于单步自回归图像到视频生成。现有对抗蒸馏方法存在运动崩溃和训练不稳定问题,导致生成静态视频。AAD-1在架构上打破生成器与判别器的对称性:生成器保持因果性以保留自回归采样能力,判别器则双向关注完整时空上下文,为整个视频序列输出一个整体真实性分数,从而有效检测全局时间失败和长程漂移。训练采用分阶段策略,先用分布匹配预热使单步生成器接近教师分布,再开始对抗蒸馏。在VBench上,AAD-1取得单步自回归视频生成的最先进性能。
针对多模态大语言模型在物理环境中的空间推理缺乏系统评估与训练的问题,提出ReasonMatch-Bench基准,按视点位移和匹配粒度分层覆盖室内、室外和物体中心场景。在90样本困难子集上,人类F1达84.0,最佳基线仅37.2。构建自动数据管线从RGB-D视频和SfM重建中提取广基线视图对,产出可验证监督信号。进一步提出动态对应强化学习(DCRL),结合图像级视点递进和点级对应课程,通过可验证奖励提升广基线匹配训练。实验表明DCRL显著提升ReasonMatch-Bench得分并泛化至相关基准,维持通用视觉性能。
MemTrain 是一个专为增强大语言模型智能体上下文记忆能力而设计的自监督训练框架。它基于未标注的 Wikipedia 语料,引入两个耦合代理任务:端到端掩码重建(要求模型在多轮记忆更新后恢复被掩码实体)与中间记忆召回(利用中间记忆状态重建被掩码历史信息),并通过 GRPO 联合优化。在长文本 QA 和搜索型 QA 基准上,MemTrain 一致提升不同模型的记忆密集型推理性能,最高达 17.67 个百分点的增益。
Qwen-Image-Flash 是基于 Qwen-Image-2.0 的少步蒸馏模型。研究者从训练配方视角,系统考察了统一文生图和指令引导图像编辑蒸馏中的三个因素:数据组成、教师指导和任务混合。实证分析揭示出若干非直观行为,并据此开发了 Qwen-Image-Flash。结果表明,有效的少步蒸馏不仅需要精心设计目标,还需对整体训练流程进行原则性组织。
计算机使用AI智能体将语言模型扩展到与文件、终端、浏览器和外部工具的持续交互,安全风险难以从孤立提示或最终响应检测,因危害在多步执行轨迹中才显现。BraveGuard是一个自进化防御框架,通过挖掘最新研究识别新兴威胁与攻击模式,实例化为可执行任务,收集agent rollout轨迹并推导轨迹级监督信号训练guard模型。训练了Qwen3-Guard和Llama-Guard等多个骨干,在AgentHazard上,平均设置下检测准确率从38.79%提升至82.38%,表明基于开放世界威胁发现和真实agent执行的guard监督能超越固定分类和合成数据,为面对演变风险的计算机使用AI智能体提供自适应防御路径。
AuditFlow是图基多智能体框架,分离自适应搜索与确定性验证。从静态US-GAAP分类图和动态XBRL申报图构建符号环境,提供事实检索、分类遍历、数值检查和规则评估工具。两初级审计员从监管与证据视角检查案例,高级审计员解决分歧并请求进一步调查,最终证据聚合生成审计裁决、预期值、证据链和可信度分数。在FinAuditing衍生的FinMR样本上,使用GPT-5.5达82.09%联合审计准确率,比最强基线高14.93个百分点。移除确定性检查后准确率降至17.91%,表明符号环境执行了模型无法可靠替代的验证步骤。