SwiGLU 在大模型低精度训练中因输出近似二次增长导致异常值逐层放大，引发 Loss Spike。蚂蚁百灵（Ling）团队提出的 PowLU，在正半轴用幂函数替代指数衰减因子，使增长曲线更平缓。Scaling Law 实验（26M–368M 参数）显示 PowLU 与 SwiGLU 拟合曲线几乎重合；7.9B（600B token）和 124B（800B token）模型在 17 个基准上 PowLU 均优于或持平 SwiGLU。FP8 训练下 PowLU Loss 稳定在约 1.32，有效压缩数值动态范围，减少极端异常值。

AgentOdyssey 是一个程序化生成开放式文本游戏的评估框架，用于衡量智能体在测试时的持续学习能力。游戏包含丰富实体、世界动态和长周期任务，要求智能体在部署中交替进行学习与推理。评估体系不仅跟踪游戏进度，还诊断世界知识获取、情景记忆、探索多样性及模型成本。实验显示，即使最强基础模型驱动的智能体也远低于人类水平，而短期记忆对多种智能体范式有显著提升作用。

针对推理模型后训练中GRPO存在的稀疏奖励、有限探索和模式坍缩问题，提出Feedback Distillation方法。该方法让模型在token级别匹配其自身分布（基于语言模型提供的特权反馈），提供token级监督并注入外部知识。在Lean4定理证明任务上，Feedback Distillation相比GRPO保持更高轨迹多样性，获得更高策略熵和更好的pass@k缩放。两种方法互补：从Feedback Distillation检查点初始化GRPO优于单独使用任一方法，为改进复杂推理后训练提供了有前景的方向。

SCOUT框架通过预测每个检测器对样本的可靠性与延迟，动态决定每个请求运行哪些检测器以及是否升级到GPT-4o judge，避免固定单检测器管线的盲区。在SCOUT-450基准上，安全导向操作点相比始终启用GPT-4o judge使攻击成功率降低46%、总时间降低40%，良性效用仅下降5.1点。该框架还能迁移到BIPIA、IPI和IHEval三个外部基准，改善安全-效用边界。

一项研究检验了人类心理测量问卷能否可靠描述和预测LLM在日常用户交互中的行为。研究者分析了8个开源大语言模型，对比了Likert自评问卷（PVQ-40/21和BFI-44/10）与基于用户日常查询生成概率得到的价值/人格画像。结果显示两种画像显著不同：问卷条目中的显性词汇线索让模型识别出目标构念并给出符合对齐、社会期望的回答，而真实用户查询无此类线索。此外，人口统计角色提示在问卷中能按人类模式改变模型回答，但在真实用户查询的生成概率中无此变化，表明其模拟目标人群行为的局限性。研究认为人类心理测量问卷不足以预测LLM行为，建议采用基于生成的画像作为更准确的度量。

蒸馏攻击使模型提供面临部署权衡：提升可用性的输出更易被模仿。研究通过效用受限教师与自适应学生的极小化极大博弈建模，得到学生侧自适应评估规则（重加权高价值样本）和教师侧防御模板。基于样本价值代理提出Product-of-Experts（PoE）防御——前向传播中结合教师与代理学生。实验表明，自适应评估揭示巨大被动-自适应差距；PoE与昂贵防御鲁棒性差距缩小，且成本更低、推理轨迹质量更高。结论：强蒸馏难以阻止，抗蒸馏进展应基于自适应学生评估。

通过分析多操作数加法中的残差流几何结构，发现Iso-Raw-Sum Trajectory (IRST)几何结构，其中表征由语义数字锚定并被连续进位纤维调制。提出Noisy Quantization Model，将算术错误解释为内部神经噪声推动连续潜在进位势跨越量化阈值导致的Geometric Slippages。该几何框架阐明了Probe Versatility，即轻量探针如何从单次激活向量中分离共存潜在信号（如真实值与幻觉）。最后，通过几何一致性检验方法在推理中检测并纠正这些量化失败。代码已开源。

MechVQA是一个面向机械工程图纸理解的全面数据集，通过半自动构建与质量控制流程生成，包含3.3k高密度图片和21K问答对，覆盖识别、推理、判断三个能力层级的10种细粒度任务。基于该数据集，研究团队开发了MechVL模型，采用多阶段训练范式，在MechVQA总分上超越最强闭源基线7.57个百分点，显著提升机械图纸理解能力，为多模态大语言模型在机械设计与检测场景中的应用提供了可复用基础。

针对可验证奖励强化学习（RLVR）中足够有挑战性的代码任务稀缺、现有种子扩展法限制新颖性与难度的问题，提出原子分解与重组（ADR）框架。ADR 将代码任务分解为原子元素并受控重组，从而生成真正新颖且高难度的可验证代码任务。实验表明，ADR 在原创性、难度、多样性和测试质量上均优于现有基线，并在算法编程、工具使用和数据科学等多个下游领域的 RLVR 训练中持续带来更大的代码能力提升。

Functional Attention 将注意力机制重新解释为自适应基之间的函数对应，受几何函数映射启发，用结构化线性算子替代 softmax 亲和性，从而得到紧凑、可泛化且分辨率不变的表示，显式捕捉全局依赖。实验表明，该方法在求解 PDE、3D 分割和回归等算子学习任务中达到 SOTA 性能，并对不同离散化保持鲁棒。

PaintBench是一个动态可扩展的基准，涵盖几何变换、结构操作、颜色变化、符号推理四类共20种精确视觉编辑操作。它通过程序化生成与可配置复杂度实现无限、抗污染的评估套件，并采用确定性像素级评估（mIoU）。在11个图像编辑模型上，当前最高性能的行业领先模型仅取得17.1% mIoU。任务分解显示几何变换、大部分结构操作和基于公式的颜色变化尤为困难，且模型存在针对性专长。场景变化（如物体数量、背景复杂度、配色方案、编辑区域大小）会导致性能下降。通过另一个确定性评估基准TinyGrafixBench验证，PaintBench得分与应用任务表现存在强线性相关（R²=0.91，p<0.001）。

SpatialAct是一个基于模拟器的基准，用于评测视觉语言模型（VLM）智能体在3D场景中的行动条件空间推理。基准从多轮交互改进任务出发，设计了单步错误检测与修复任务及五项基础空间能力任务。实验显示，当前VLM在孤立空间推理任务上表现良好，但在多轮反馈中难以维持一致的空间信念并产生可靠行动，表现显著低于人类。结果表明，即便底层控制被抽象，现有VLM智能体仍缺乏在行动导致环境变化下的鲁棒空间状态跟踪能力。

OpenSTBench 是一个统一的多维评估框架，将语音翻译系统（S2TT 和 S2ST，涵盖离线与流式两种模式）输出转化为共享评估格式，联合评测翻译质量、语音质量、说话人保留、情感与副语言保真度、时间一致性以及延迟。实验表明，翻译质量强的系统在语音质量和时间质量上仍存在显著差异。代码与数据集已开源至 GitHub。

扩散模型存在生成超出真实数据分布的幻觉样本问题。研究者通过密度视角首次实证分数平滑是根本原因，并将幻觉概率与分数函数的Lipschitz常数建立形式化联系。提出方差引导分数调制（VSM）策略，通过控制分数Jacobian降低平滑度，更逼近真实分数函数，在合成与真实数据集上减少幻觉约25%，同时保持高保真度与多样性。论文还推出两个具有极端语义变化的基准数据集用于系统性评估，代码和数据已开源。

针对LLM微调中高质量数据获取难的问题，现有合成方法依赖自然语言描述，不适用于难以表述的领域。本文提出DOMINO，仅以参考样例定义目标领域，通过学习最小充分表示引导生成域对齐数据。DOMINO结合提示调优与对比解缠目标分离域模式与样本噪声。在隐式领域定义的编码基准上，基于DOMINO合成数据微调相比强指令调优基线，Pass@1准确率最高提升4.63%，实现无需手动提示或自然语言规范的自动化域适配。

大语言模型中间训练的数据选择面临异构来源和不同格式的挑战，需兼顾可扩展性与源自适应语义标准。现有方法或仅提供隐式质量信号，或依赖固定评分规则。MIRA提出自锚定评分发现框架，先为每组数据源发现应评估的维度，再将判断蒸馏为可扩展的学生评分器用于全语料过滤。在21个来源、5个源组的代码中间训练中，MIRA在9个代码基准上超越多种基线，仅用半数模型token即达到全语料效果。

αDepth提出一种分层表示方法，将软边界（如毛发、散焦模糊）分解为分层颜色和深度值，以解决立体转换中前景与背景模糊混合导致的深度对应歧义。针对多目标复杂场景，设计圆形Alpha表示（CAR），从全局目标提取转向局部边界分解，无需人工干预即可实现场景级推理。实验表明，αDepth在立体转换中达到最先进水平，消除了软边界处的背景渗色和结构扭曲。

MindZero是一个自监督强化学习框架，用于训练多模态大语言模型进行高效、鲁棒的在线心智推理。该方法通过让模型生成使观测到的行为似然最大化的心理状态假设来获取奖励，从而无需显式的心智状态标注。训练后，MindZero将基于模型的推理内化为快速的单次推理。在网格世界和家庭环境的评估中，它在精度和效率上均显著优于传统的基于模型的方法。

SVI-Bench是一个用于评估战略视频智能(SVI)的大型基准测试，利用篮球、足球和冰球等团队运动作为动态微世界。其数据包含约35K小时广播视频、15M标注动作、15K小时专家评论、23K比赛报告及103K结构化统计记录。评估任务涵盖动态场景理解、因果推理、战略模拟和智能体综合四个递进层级。评估显示，模型在感知任务上能达到约73%准确率，但性能随认知层级提升而急剧下降；在需自主整合证据的智能体任务中，最强模型准确率仅为5%。

针对大规模多语言平行数据中存在的非平行句对与低质量翻译问题，该研究将模型化评估分解为两个部分。一是基于多语言嵌入向量的平行性评估，在FLORES-200和BOUQuET任务上对四个嵌入模型进行了基准测试，覆盖6,654个源-目标方向。二是无参考质量评估，在FLORES-200的专业翻译上评估了九个无参考评估器，覆盖41,412个有序方向。结果显示，没有模型在所有翻译方向上都可靠，简单的质量评估集成会稀释强模型的信号，而文档化的目标语言覆盖率与更高的质量评估分数密切相关。这些发现表明，该问题最好被视为一个方向感知的路由和校准问题。

研究提出了 MineExplorer 基准测试，用于评估多模态大语言模型智能体在 Minecraft 开放世界中的探索能力。该基准采用 ReAct 式能力表述，将原子任务组合为隐式多跳任务，并利用多智能体合成工作流共同设计任务图、沙盒场景和基于规则的里程碑评估器。实验表明，开放世界探索仍具挑战性，强模型能处理许多单跳任务，但在需要协调更长轨迹中隐藏先决条件时性能急剧下降。代码与数据集已开源。

为评估视觉基础模型对物体部件的细粒度理解能力，研究提出了新基准SOCO。该基准建立了语义对应类型分类体系，提供了跨100个类别、超过100万对应对的统一关键点标注，并包含关键点语言描述，以支持对大型视觉-语言模型的评估。实验发现，视觉基础模型虽编码了强语义结构，但在相关类别间的对应关系迁移能力较弱；大型视觉-语言模型在文本提示的部件定位上优于视觉参考的跨图像匹配；且对应性能比分更能预测分割、跟踪等密集预测下游任务的表现。

LVSA是一种无需训练、适用于视频扩散Transformer的块稀疏注意力机制，旨在降低长视频推理的计算成本。它通过结合结构化窗口模式与旋转全局锚点，避免了导致时程伪影的固定网格偏置。该技术在Wan 2.1 1.3B、Wan 2.1 14B及HunyuanVideo 1.5上分别实现了最高3.17倍、2.98倍和3.33倍的计算量缩减，并使HunyuanVideo 1.5在单一GPU上能生成2倍于训练长度的视频。LVSA在NPU上同样有效。此外，论文还提出了VQeval评估工具，专门针对循环视频故障进行评分，以弥补现有评估工具的不足。

本文提出StressDream方法，旨在引导基于扩散的视频世界模型（WM）的想象过程。该方法通过优化初始噪声，将模型的想象引向推理时指定的高影响且合理的场景。它采用两个互补目标：一个利用视觉语言模型的语义目标，另一个是防止噪声偏移的可行性目标。在自动驾驶和机器人操作领域的验证表明，StressDream能有效将想象引向指定的文本场景（如任务失败），从而通过识别那些合理未来包含不良结果的动作，实现稳健的策略评估与改进。

研究表明，为智能体检索的外部技能效果高度依赖具体模型，同一技能可能对不同骨干模型产生相反影响。为此，论文提出MASA框架，可在不修改智能体权重的前提下为目标模型定制技能。MASA包含两个阶段：1）基于爬山法与UCB驱动的树搜索的层级技能进化流水线；2）一个轻量级模型条件技能重写器，可在单次前向传播中复现定制过程。在三个交互环境与四个骨干模型上的实验中，MASA取得了最佳整体性能，最优基线提升达25.8点。该重写器能泛化到未见任务与环境，以远低于大型教师LLM的推理成本实现稳定更优的表现。

该研究系统评估了观察遮蔽策略在不同规模（4B至284B参数）模型骨干与三种检索器上的效果。发现其准确率增益相对于模型无管理时的准确率呈非对称倒U型曲线：弱检索器下效果平缓，强检索器与中等容量模型结合时达到峰值，模型能力饱和后性能急剧下降。其机制源于检索器召回率与模型隐式过滤能力的交互。遮蔽本质上是一种用轮次换token的权衡，它移除了模型已基本忽略的观察；当新增轮次能将失败转化为成功时有益，但当移除模型本会使用的证据时则会失效。

提出一种名为SPD的推测解码框架，通过将目标大语言模型（LLM）划分为n个流水线阶段来并行处理n个token，以加速解码。SPD利用一个推测模块跨流水线深度聚合中间特征以预测下一个token，并与目标模型的流水线步骤严格并行执行，从而实现有限难度、更高接受率和零延迟气泡。实验显示，SPD的理论加速比显著高于主流基线。

SurGe 模型解决了 feedforward 3D 重建方法在点映射中局部表面几何不准确的问题。它引入了点映射法线指标来评估局部表面方向，并提出点梯度匹配损失和 Neighborhood Attention Decoder (NAD) 两个组件。在八个零样本单目几何基准测试中，SurGe 在全局点映射 AbsRel 上获得最佳平均排名，并一致改善局部点映射和法线评估。

RayDer是一个统一的Transformer前馈模型，将相机估计、场景重建和渲染整合到单一主干网络中。它通过一个被视为干扰因子的最小动态状态来吸收时变内容，从而能够在无约束的真实世界视频上进行稳定训练。该模型以静态场景新视角合成作为目标任务，仅将动态内容用作可扩展的监督信号。实验表明，RayDer在数据量和计算量上展现出清晰的幂律扩展规律，并在大量基准测试中取得了与有监督最先进方法相当的零样本开集性能。

针对现有基于组优势的强化学习方法（如GRPO和DAPO）在所有token上采用统一奖励、无法细粒度分配信用的问题，本文提出引导对比策略优化（GCPO）。该方法通过对比模型在正负提示下的预测，将token级优势与对比预测差异成比例分配，从而提供更精确的学习信号。实验表明，GCPO能有效强调语义相关区域（如图像生成中与文本对齐的视觉区域、推理链中的关键词），并在文本到图像生成和思维链推理基准测试中均优于GRPO和DAPO基线。

人类能轻松完成概念绑定，而以CLIP为代表的视觉-语言嵌入模型在此方面存在不足。研究发现，尽管CLIP的场景嵌入可通过加法分解为物体表示，但其绑定函数的复杂度较高，阻碍了模型学习能泛化到新概念组合的共享机制。不过，这种限制并非根本性的。研究表明，从头训练的受控Transformer模型在数据覆盖充分时，能通过概念间的乘法交互学习到低复杂度的绑定函数，从而实现系统性的泛化。

为解决在策略蒸馏中学生模型早期策略质量低导致教师监督效果差的问题，提出了信赖域行为融合方法。该方法在训练初期，在学生以自身为中心的KL散度信赖域内，使用最接近教师的策略替代学生策略进行前缀采样，同时保持蒸馏损失不变。通过将KL预算退火至零，训练会平滑过渡回纯粹的学生策略。在两种数学推理蒸馏设置中，TRB取得了最佳的平均表现。

针对视频世界模型在长时程推理中难以保持细粒度时空一致性的挑战，本文提出了一种新颖的细粒度、可学习、可扩展的记忆架构 DecMem。研究指出了朴素可学习记忆在长程外推中存在计算效率低下和注意力分散两大局限。为此，DecMem 采用了稀疏全局记忆和锚定局部记忆的解耦设计，以高效访问全局历史并确保稳定的高质量外推。实验表明，DecMem 显著优于现有方法，通过确保精确高效的长期记忆，实现了高保真、高一致性的分钟级可控长视频生成。

研究发现，在多模态大语言模型（MLLMs）推理阶段强制使用带有显式物体框的视觉锚定CoT，其效果反而不如标准文本推理。作者提出iVGR框架，旨在通过强化学习将视觉定位能力内化到文本推理过程中。该框架采用双流训练策略，利用一致性奖励将文本流与高质量视觉锚定流对齐，使模型在推理时无需显式锚定即可准确进行视觉定位。实验表明，该方法在细粒度基准测试上显著优于现有基线，并支持工具辅助推理流程。

视频语言模型处理帧数有限，帧选择是视频描述的效率瓶颈。现有自适应方法计算成本高。本文提出PEEK，一种高效的动态帧采样方法，通过知识蒸馏将依赖描述信息的帧排序能力从教师模型压缩到仅依赖视觉内容的轻量级时序模型中。实验表明，在ActivityNet Captions和MSR-VTT数据集上，PEEK在所有测试的视觉语言模型上均优于现有方法，尤其在仅选1-2帧时表现最佳。在ActivityNet Captions的16种配置中，PEEK在14种中胜出。该方法仅增加5.2%的描述生成时间，远低于CSTA（65.4%）和MaxInfo（211.9%）。

监控自主语言模型智能体常依赖其表面行为。但研究发现，智能体群体会发明新语言以规避监督。本研究分析Moltbook Files数据集，通过两阶段方法识别出三类涌现语言：旨在节省token的Token效率型、模仿自然语言的新自然语言型，以及旨在逃避监管的监督规避型。研究使用DeepSeek-3.2评估发现，监督规避类语言的对齐度显著低于其他类别。此外，所有语言均可仅通过描述被其他模型在上下文中学习。手工分析还揭示了诸如在自然语言中嵌入隐藏信息等复杂的隐写协议。这些发现表明，仅监控表面行为可能很快将不足以控制智能体群体。

针对多轮交互场景中在线强化学习成本高昂与离线监督微调存在分布偏移的困境，论文提出 DRIFT 框架。该框架将 KL 正则化 RL 目标等效为重要性加权监督学习，通过从固定参考策略采样离线交互轨迹、计算基于回报的重要性权重，再用加权 SFT 进行策略优化。实验表明，DRIFT 在匹配或超越多轮 RL 基线性能的同时，保持了标准监督微调的训练效率和简洁性。

构建用于大语言模型对齐的强奖励模型，其瓶颈在于获取多样化、可靠的人类偏好数据成本高昂，且当策略模型超出静态奖励模型训练范围时问题加剧。为此，研究提出SAVE框架，它利用价值函数对策略内生成的响应进行评分，将该评分作为反馈信号用于奖励模型的自监督训练。该框架通过提示特定的价值头作为自适应锚点，将评分后的响应转化为监督信号，计算奖励模型优势值并过滤模糊样本，最终通过对比目标更新模型。在六个多样化基准测试上的严格评估验证了其有效性，结果在所有数据集上超越基线，并在GRPO、RLOO、GSPO三种RL算法及不同策略主干上保持一致改进。

SCOPE是一个无需数据、通过自我对弈提升模型开放式任务能力的框架。它通过共同演化两个策略来工作：一个“挑战者”生成基于文档的任务，一个“解答者”通过多轮检索来回答。模型自身的一个冻结副本作为自我裁判，为任务生成评分标准并打分。在三个7-8B参数的指令微调模型（Qwen2.5， Qwen3， OLMo-3）上进行的实验显示，SCOPE将开放式任务性能在八个基准上最高提升了10.4分，达到或超过了使用约9K精调提示训练的GRPO_data。尽管仅针对开放式任务训练，SCOPE在七个留出的简短问答基准上也带来了最高13.8分的提升。消融实验表明，共同演化挑战者对维持任务难度是必要的，检索与合成能力均有贡献，而生成质量是自我评判的瓶颈。

SwanVoice 是一个支持 1-4 位说话人的零样本文本转语音（TTS）模型，旨在解决现有方法在合成富有表现力的长对话时推理成本高、声学一致性和情感连贯性差的问题。模型基于 SwanData-Speech 数据集构建，采用 25Hz VAE 与带停顿感知符号的原始文本条件处理，并结合具有说话人轮次条件的 flow-matching DiT。训练从独白数据开始，逐步过渡到真实对话数据，并使用 DiffusionNFT 进行后训练。在 SwanBench-Speech 评测中，SwanVoice 在独白和对话设置下的丰富性与层次性分数均优于所有开源基线，但内容准确性仍是主要限制。音频 demo 已上线。