通过从源码构建 NVIDIA Apex 并检测融合内核，对 Transformer 训练中的关键组件进行基准测试。内容涵盖了 NVIDIA Apex 提供的 FusedAdam 优化器与 FusedLayerNorm 层归一化的性能表现，并将其与 PyTorch 原生的混合精度训练工具 torch.amp 进行了对比。文章旨在实践验证这些工具在提升训练速度方面的具体效果。

Alphabet 宣布计划通过发行股票筹集 800 亿美元资金，这是其历史上规模最大的融资之一。此次融资所得资金将专门用于进一步扩展公司的 AI 基础设施和计算能力，以支持其在人工智能领域的持续发展和战略部署。

KPop针对MoE大模型强化学习中的训练-推理不一致问题，提出用对称二元KL散度代替IcePop的固定ratio阈值。该方法只需一个超参数，根据token概率自适应调整屏蔽边界：稀有token更宽容，高频token更严格。在Ring-flash-2.0（100B总参，6.1B激活）的RLVR训练中，支撑800+步稳定训练，屏蔽比例从10%动态升至30%+（IcePop仅约0.2%）；在AIME25、HMMT25-Nov、ARC-AGI-2、LiveCodeBench上全面优于IcePop。在长程智能体任务中，基于Ring-2.6-1T（1万亿总参，63B激活）的SWE-bench Verified得分从70.8%提升至76.28%，且仅需更新70%~80% token即可收敛。

针对GRPO训练中rollout多样性不足的问题，研究发现同一模型家族内的小模型天然具有更高的策略级多样性（pass@k优于大模型），且这种多样性具有时序相关性、逻辑一致性和结构化探索信号。提出S2L-PO框架，利用固定小模型作为探索者训练大模型，并设计渐进退火策略从小模型离线rollout过渡到大模型自身采样，避免性能下降、加速收敛。S2L-PO在多个数学推理基准上提升准确率，例如用1.7B探索者引导8B模型在AIME 24上提升8.8%，同时减少rollout计算量。

Curation-Bench 是一个面向智能体的基准，固定模型、训练配方和评估套件，赋予智能体命令行权限以检查数据、实施策略并提交训练/评估管道进行迭代。在视觉语言指令微调场景中，开箱即用的智能体在十次迭代内即可达到强数据选择基线。但轨迹分析显示存在执行-研究差距：智能体主要调整局部策略变体，而非探索新策略族。脚手架要求每次迭代引用、实例化并改编先前方法，引导智能体进行方法导向探索。最终脚手架化的智能体自主组合出数据选择策略，以十分之一的数据预算超越了强基线。代码和基准已开源。

大语言模型在低资源机器翻译中难以有效利用语法信息。受思维链推理启发，研究提出自动从Universal Dependencies树库、词典和语法规则库生成逐步语言学推理轨迹的管道，并在锡伯语和Chintang语上通过上下文学习、监督微调和强化微调三种设置评估。结果表明，作为推理时引导（ICL），可靠句子特定轨迹在多数模型、语言和指标上显著提升翻译性能；而作为训练数据使用时收益较小且不稳健。LLM能在可靠语言分析下利用语法信息，但自主生成分析仍是主要瓶颈。

针对大语言模型后训练中奖励模型依赖规则验证器、真实参考答案、程序检查表等异构评估标准、缺乏统一机制的问题，提出Skill-RM框架。该框架将奖励建模重构为可复用的“奖励评估技能”执行，把奖励计算当作结构化的智能体任务，通过统一接口动态选择和聚合证据。在奖励基准及best-of-N选择、强化学习等下游任务中，Skill-RM持续优于传统judge基线，为奖励建模提供了统一且透明的方案。代码已开源。

EvoDS 是一个自进化自主数据科学智能体，通过智能体强化学习实现技能扩展与长期上下文自适应管理。核心包括自主技能获取（ASA）机制与自适应上下文压缩（ACC）策略，前者用于合成、验证和复用可执行技能，后者将上下文管理转化为学习控制问题。采用两阶段多智能体训练方案。理论证明其分层设计降低工具选择错误，优化目标符合信息瓶颈原理。在四个基准测试中，EvoDS 平均优于现有开源数据科学智能体 28.9%，并消除 token 溢出失败。代码与数据已开源。

通过群组合任务（预测有限群G中两元素乘积），研究两层神经网络训练中的内部结构涌现。将投影梯度流提升到傅里叶域后，训练动力学由表示论能量泛函上的黎曼梯度上升主导。随机初始化下，每个神经元几乎必然收敛到单个不可约表示，跨层傅里叶系数达到旋转秩一对齐。该框架刻画了矩阵值群表示中的低秩压缩现象。对于阿贝尔群，随机初始化促使非平凡表示均匀多样化并诱导Haar均匀相位，通过多数投票机制逼近指示函数。相位对齐与表示竞争以指数速率出现。

强化学习已成为LLM后训练主流范式，但模型可能利用奖励函数与制度意图间的结构性空隙。研究提出“社会性破解”假说：LLM的奖励破解倾向可能扩展为发现社会规则漏洞。通过包含72个社会环境的沙盒SocioHack，实验发现奖励破解自然涌现，模型能生成技术合规但违背立法意图的策略，现有安全措施仅提供有限缓解。该结果警示需谨慎收集现实世界反馈用于模型训练，并呼吁开发下一代安全后训练范式。

μP 已实现标准 Transformer 零样本超参数迁移，但扩展到线性模型（尤其带结构化状态转移的门控 Delta 网络）尚未探索。通过在前向传播、门控机制和循环动态中传播坐标规模估计，推导出门控 Delta 网络的缩放规则。语言模型预训练实验证实，该配置在 AdamW 和 SGD 下均实现跨模型宽度稳定学习率迁移，而标准参数化无法迁移。

MemTrain 是一个专为增强大语言模型智能体上下文记忆能力而设计的自监督训练框架。它基于未标注的 Wikipedia 语料，引入两个耦合代理任务：端到端掩码重建（要求模型在多轮记忆更新后恢复被掩码实体）与中间记忆召回（利用中间记忆状态重建被掩码历史信息），并通过 GRPO 联合优化。在长文本 QA 和搜索型 QA 基准上，MemTrain 一致提升不同模型的记忆密集型推理性能，最高达 17.67 个百分点的增益。

Qwen-Image-Flash 是基于 Qwen-Image-2.0 的少步蒸馏模型。研究者从训练配方视角，系统考察了统一文生图和指令引导图像编辑蒸馏中的三个因素：数据组成、教师指导和任务混合。实证分析揭示出若干非直观行为，并据此开发了 Qwen-Image-Flash。结果表明，有效的少步蒸馏不仅需要精心设计目标，还需对整体训练流程进行原则性组织。

论文提出自蒸馏策略梯度（SDPG）框架，结合群体相对验证器优势、归一化标准差、精确全词汇在策略自蒸馏及参考策略KL正则化。在稀疏奖励强化学习中，语言模型基于特权上下文自监督生成，利用全词汇学生到教师反向KL散度作为辅助损失。实验表明SDPG在稳定性和性能上优于RLVR和自蒸馏基线。代码已开源。

图灵奖得主理查德·萨顿指出，传统生成式AI存在核心缺陷：无法评估自身输出。若缺乏这一能力，真正的科学发现便难以实现，因为新想法只会短暂闪现随后消散。萨顿认为，AlphaGo和AlphaProof等系统表明，只有内置评估循环才能让AI具备真正的创造力。

斯坦福大学开设 CS336 课程，教授如何从零开始构建语言模型，涵盖从数据处理、模型训练到部署优化的完整流程。该课程于 2026 年 6 月 1 日公开，在 Hacker News 获得 115 点热度，可通过 cs336.stanford.edu 访问。

Windborne Systems 推出了最新的天气预报模型，其预测结果能够比现有的最佳政府预测提前数天。

Chubby♨️@kimmonismus

68

该推文指出AI领域过度关注上下文窗口大小，而真正的核心问题——AI智能体跨会话记忆缺失——却被忽视。HydraDB 获得 $6.5M 融资，旨在构建一个图原生的上下文基础设施，专为智能体提供持久化会话、可累积知识与行为可观测性。其核心是将内存、NVMe 和对象存储组合为单一的图层，目标实现比现有方案快、成本降低 1000 倍、且高精确度的上下文交付，为智能体赋予“大脑”。

Nishkarsh: Introducing HydraDB. The graph native context infrastructure for agents. Purpose built to deliver precise context & obse...

Rohan Paul@rohanpaul_ai

60

当前AI智能体的扩展方法常错误地将计算资源消耗等同于学习证据。新研究指出，两次运行消耗相同预算，但反馈的有效性可能天差地别。为此，研究提出了“有效反馈计算”（EFC）指标，仅统计那些正确、新颖、相关且被记住、并能改变后续决策的反馈。研究还结合任务需求对EFC进行归一化。实验表明，任务归一化的EFC比原始计算指标更能预测失败。在一项匹配预算测试中，采用更好反馈的方法将任务成功率从0.27提升至0.90，而成本和工具调用次数保持不变。 链接：arxiv.org/abs/2605.29682 标题："Scaling Laws for Agent Harnesses via Effective Feedback Compute"

Parallax是一种新的注意力机制，它用一个学习到的投影器取代了LLA中的每查询求解器，从而将算术强度提升了一倍。在0.6B和1.7B的模型规模上，该方法有效改善了模型的困惑度。

文章探讨了AI模型训练中“后训练”的重要性，指出其价值不仅仅在于数据本身，更在于数据如何被用于对齐、微调等后训练阶段，从而塑造模型的能力与行为。

Rohan Paul@rohanpaul_ai

64

研究分析了跨越10年的320万条ALEKS数学学习记录，发现自ChatGPT可用后，学生完成“AI友好”数学题（如单词题）的速度显著变快，但这并非意味着学得更好。研究指出，数学练习通过选择方法、试错和修正的过程构建知识，而当AI直接提供路径时，学生可能跳过了这个关键心智过程。关键证据是，在有监考的测试中，学生答对这类AI友好题目的可能性下降了约25%，表明更快的完成速度是以牺牲知识保留为代价的。论文链接：arxiv.org/abs/2605.21629。

大语言模型（LLM）作为合成智能体进行公众舆论模拟时存在“多样性崩溃”问题——不同社会身份的表征在层间逐渐不可区分，导致响应同质化。为此提出参数化社会身份注入（PSII）框架，将人口统计属性与价值取向的显式参数化表示注入LLM中间隐藏状态，实现细粒度可控的身份调制。基于World Values Survey对多个开源LLM的实验显示，PSII显著提升了分布保真度与多样性，降低了与真实调查数据的KL散度。

KITScenes Multimodal是一个欧洲自动驾驶多模态数据集，传感器套件包含高分辨率全局快门相机、探测距离超400米的激光雷达、4D成像雷达及冗余GNSS/INS定位系统。其HD地图首次在公开数据集中将所有驾驶相关交通元素（含红绿灯）以3D形式映射至重投影精度并附带完整拓扑连接。数据采集自街道布局不规则、混合交通模式的城市，补充地理多样性。同时推出四个基准：在线HD地图构建、长距离深度估计、新视角合成和端到端驾驶。项目页面已公开。

训练医学图像分割模型需要大量密集标注数据，成本高昂。现有半监督学习依赖伪标签，但模型置信度或不确定性评估存在自我参照问题。本文提出质量引导的半监督学习框架，训练专用网络从图像-掩膜对估计分割质量。该质量预测器通过合成损坏及部分训练模型生成的不完美掩膜进行训练，捕捉真实错误模式。通过质量感知正则化损失和基于质量的伪标签重加权两种机制融入半监督学习，可作为即插即用模块集成到现有框架。在五个数据集和多种架构上的实验表明，该方法持续优于竞品，达到最新水平。

计算化学和生物物理中长期挑战是高效采样分子玻尔兹曼分布。现有方法通过迭代微调扩散模型沿温度梯度进行推理时间退火，但需计算分数场散度来估计重要性权重，对大系统不可行。本文提出可扩展推理时间退火（SITA），利用能量模型提供快速替代似然，重新训练基于流的模型逐步降低温度生成样本。在Alanine Dipeptide和Alanine Tripeptide上达到最先进性能，避免了昂贵的散度项。代码已开源。

FiRe-OPD（Filter, then Reweight）重新思考在线策略蒸馏的优化粒度，在轨迹和token两个层面联合调整监督信号。先过滤低质量轨迹，再对保留轨迹内的token进行软加权，避免硬选择带来的信息损失并提升优化稳定性。该方法在强到弱、单教师、多教师三种设置下均优于近期token级OPD方法：在AIME 2024上提升6.25分，在Miner上提升18.81分。代码已开源。

WALL-WM 是一种世界动作模型，将视频-动作学习从固定长度块优化转向基于语义事件的视觉-语言-动作（VLA）预训练。它把语义一致的动作事件作为基本学习单元，解决了语言、视觉与动作在时间粒度上的不匹配。WALL-WM 结合事件级描述与聚类平衡采样构建数据生态，并从同一预训练主干支持两种推理模式：事件模式（变长执行块）和统一模式（使用 VLM 与阶梯解码）。依托 Muon 优化器的大规模预训练基础设施，WALL-WM 在跨语言、场景与任务的真实世界泛化评估中达到当前最优性能。

研究发现，对大语言模型进行单一领域（如数学、代码）的强化学习后训练，会对其他领域产生干扰，即使全模型梯度近似正交也会发生。论文提出了一个局部微扰模型来解释此现象：干扰主要通过一个集中在低维共享冲突子空间中的二阶损害项发生。理论证明，一次简短的领域刷新可以收缩该子空间中的有害分量，从而实现选择性恢复。实验表明，在经历代码→数学→问答→创作写作的序列训练后，进行Re-Math刷新可将数学性能恢复，同时基本保持其他领域表现。

针对多模态大模型指令微调中的梯度干扰与高带宽同步瓶颈，MERIT提出了一种去中心化、可合并的微调流水线。该方法通过估计数据集间的梯度冲突，沿主成分分析（PCA）冲突轴进行切分，使各部分独立训练无需通信，最后通过基于token频率的加权平均进行一次权重合并。在Qwen2-VL-3B模型上使用136个Vision-FLAN任务评估，MERIT将8个基准测试的平均得分从联合训练的54.3提升至57.0。该流程同样可扩展至1.6M样本、176个来源的7B模型，以最小开销匹配或超越集中式联合训练。

Rohan Paul@rohanpaul_ai

45

MIT、斯坦福等高校联合研究发现，人们普遍存在“效率增益错觉”，即高估AI在简单任务（如算术、拼写）上带来的效率提升。在包含2691名参与者的三项研究中，人们实际使用AI完成这些简单任务的频率高于其自我预期。参与者预期AI平均能节省55.7秒，但实测仅节省了7.5秒。研究指出，使用AI存在界面摩擦（如编写提示词、等待、核对）等隐形成本，并会引发“自我证成”循环：一旦开始使用，即使独立完成更快，人们也可能因惯性而继续依赖AI，从而悄然低估自身的独立判断力。

Rohan Paul@rohanpaul_ai

72

Jensen Huang认为Dario Amodei预测的2030年AI收入达$1T的预期过于保守。他指出，Anthropic的token将成为众多企业软件公司的增值服务，其市场将因此实现对数级扩张。有观点补充认为，当各实验室的模型能力趋同时，真正的优势可能源于独特的私有数据输入。这类数据（如特殊工作流、医疗记录等）能为AI系统带来难以复制的差异化和提升，未来或成为并购的关键标的。

Rohan Paul: Chamath: AI advantage may come less from models than from private inputs. "When labs can build similar models, the real ...

Rohan Paul@rohanpaul_ai

64

Chamath认为，当各大实验室能构建相似模型时，真正的竞争优势将来自独特的“私有数据输入”。他以厨师比喻：若给三位厨师相同食材，其中一位若多一味独特食材，便能做出非凡菜品。当前大家都依赖公开网络数据，但未来数据所有者可能将独家数据用于训练自己的模型，从而建立优势。这将引发一场围绕私有数据的“军备竞赛”，并可能改变大型科技公司的收购逻辑——未来的并购可能旨在获取能提升其大语言模型性能的独特数据流，而非仅仅购买收入或品牌。

伦敦初创公司Kaikaku.AI发布了名为“Epicure”的三个AI模型，它们首次明确区分了食材是符合食谱传统搭配还是化学成分相关。这些模型基于涵盖七种语言的414万份食谱和FlavorDB风味数据库进行训练。每个模型变体会给出不同的推荐结果。有趣的是，纯基于化学数据训练的模型在对味道和营养价值进行分类时，甚至优于基于食谱的模型，尽管它从未直接学习过这些信息。

DRDD 模型将扩散过程解耦为两个独立阶段：先进行随机噪声扩散以实现领域协调和流形提升，再通过确定性残差扩散在固定噪声域内学习核心语义映射。该设计保留了扩散过程对特征分布的隐式对齐能力，显著简化了跨任务统一映射的学习。噪声扩散阶段仅在未配对的目标域图像上训练，极大提升了数据效率。理论与实验表明，DRDD 与主流扩散模型兼容，即使在配对数据有限时也能实现稳健的统一翻译。代码已在 GitHub 开源。