Rohan Paul@rohanpaul_ai

68

Rohan Paul: Opinion from a former Meta PM. And this is from Aravind Srinivas of Perplexity "China can build data centers a lot faste...

DreamForge-World 0.1 Preview 是一款低算力实时交互世界模型预览版，基于 LongLive 1 自回归视频栈（源自 Wan2.1-T2V-1.3B）和 Matrix-Game 系列的残差动作路径。支持实时键盘鼠标控制、多模态初始化、中流重提示及双视角操作。在单张 RTX 4090 上以原生 480p 分辨率达到 14-15 FPS，内存占用低，展示了在消费级 GPU 上实现实时可控世界模型预览的低算力路线。

DeepSeek 在 GitHub 上开源了推理优化方案 DeepSpec，并发布了配套论文 DSparkpaper.pdf。该方案可将模型生成速度提升 60% 至 85%，具体实现细节见论文。

OpenBMB@OpenBMB

63

清华自然语言处理实验室（THUNLP）与面壁智能OpenBMB发布论文，重新审视混合LLM架构中高效注意力（如SWA、Mamba-2、GDN）的实际作用。研究发现：高效注意力设计对短上下文Loss影响极小，但长上下文LongPPL差异显著；全注意力承担检索功能，限制其感受野会大幅提升LongPPL，而限制高效注意力几乎无影响。大窗口SWA导致模型懒惰，延迟检索能力形成。简单方法——对小窗口SWA混合架构的全注意力层仅用NoPE（SWA-128-NoPE），即可用极小短上下文代价显著提升长上下文性能。论文认为瓶颈在于全注意力的检索能力能否被有效激活。

JetSpec 是一种头部驱动推测解码框架，通过在冻结目标模型的融合隐藏状态上训练因果并行草稿头，生成与自回归因子分解对齐的候选树，从而将更大草稿预算转化为更长接受前缀和更高端到端加速。在密集和 MoE Qwen3 模型的数学、编码及聊天基准测试中，JetSpec 一致优于双向头和树形基线。在 H100 GPU 上，MATH-500 达 9.64 倍加速，开放对话达 4.58 倍；经 vLLM 集成在现实服务负载下进一步降低延迟。

OpenThoughts-Agent（OT-Agent）项目提出一套完全开源的数据 curation 流水线，专门用于训练智能体模型。研究团队通过 100 余项对照消融实验，系统探索了任务来源与多样性的影响，并构建了包含 10 万条样本的数据集。基于该数据集微调 Qwen3-32B 后，模型在 7 项智能体基准测试中平均准确率为 44.8%，比现有最强的开源数据智能体模型 Nemotron-Terminal-32B（40.9%）高 3.9 个百分点。训练数据展现出强扩展性，同等计算资源下各数据规模均优于其他开源数据集。所有数据、流水线、实验记录及模型已在 openthoughts.ai 公开发布。

Qwen-AgentWorld-35B-A3B和Qwen-AgentWorld-397B-A17B是首批能通过长链式推理模拟7个领域智能体环境的语言世界模型。它们基于超过1000万条真实环境交互轨迹，经连续预训练（注入状态转移与专业语料）、监督微调（激活下一状态预测推理）和强化学习（混合规则与评分奖励提升仿真保真度）三阶段训练而成。配套基准AgentWorldBench利用5个前沿模型在9个已建立基准上的真实交互构建，实验表明Qwen-AgentWorld显著优于现有前沿模型。该模型既可充当解耦环境模拟器支持智能体强化学习，也可作为统一智能体基础模型，通过世界模型训练预热提升下游7个智能体基准的性能。

Tmax是当前最强的开源终端智能体RL训练配方。仅9B参数即在下游基准Terminal-Bench 2.0上达到27%准确率，超越此前更大模型。研究团队利用难度控制、角色和验证器多样化策略生成数据，并开源了比此前任何已发布终端智能体数据集大2.5倍以上的数据集。基于该数据，使用简单的结果驱动RL训练开放权重模型。代码、数据和模型均已开源。

Nathan Lambert@natolambert

67

TMax 是面向终端任务的开源 RL 配方，基于 Qwen 3.5 较小密集模型，在默认设置和 65k token 预算下超越此前开源工作。训练需 8 节点 H100（2 训练+6 推理）运行 2-3 天，配方经约 100 次训练才稳定。发布模型权重、数据及训练 rollouts。配方工作强调从零获得初始基线成本高昂（1 万至百万美元），需要明确决策阶梯和稳定性改进。

Hamish Ivison: Trained some terminal agents with friends! Introducing Tmax, open RL terminal agent models. Under default settings and s...

RaysUp是一个超轻量、任务无关且与视觉基础模型无关的特征上采样框架，通过将重建提升至几何感知光线域，在任意分辨率下重建高分辨率特征图。核心组件包括空间解耦引导编码器、任意分辨率交叉注意力机制、基于6D Plücker射线坐标的RayPE（射线位置编码）和几何感知邻域注意力模块。在多种密集预测任务中取得SOTA性能，参数量仅为AnyUp的16%，推理速度提升约7倍。代码已开源。

ReasoningLens是一个开源框架，用于对大型推理模型的超长思维链进行层级可视化与诊断审计。它通过三方面解决信息埋没问题：将推理轨迹组织成交互式层级，分离高级策略与低级执行；利用智能体审计器自动检测错误并进行工具增强验证；综合系统推理画像以揭示模型特定盲点。该框架将无结构文本转化为可操作的洞察，为解释、调试和优化推理AI提供基础。

风格-内容双参考生成旨在合成图像，保留内容参考的结构语义并采用风格参考的样式。FreeStyle提出基于社区LoRA挖掘的可扩展双参考生成框架，将LoRA作为风格与内容的组合锚点，通过生成-过滤流程构建大规模三元组数据。针对内容泄漏，采用两阶段课程学习：注意力级增强约束抑制风格参考泄漏，频率感知RoPE调制策略应对双参考阶段的位置对应泄漏。引入覆盖风格参考与双参考生成的基准，包含风格不变内容对齐分数（CAS）和基于VLM的拒绝分数。实验表明模型在风格对齐、内容保留和泄漏抑制间取得强平衡。

为调和开源权重与敏感能力控制，论文提出分层语言模型(TLM)。一套权重支持多个能力层级：默认公共配置行为与常规LLM一致；紧凑密钥通过指定少量参数的排列，在相同权重上诱导出包含私有能力的替代计算图。在180M和650M参数模型上预训练并微调密钥配置后，密钥配置可获取新语言、指令跟随和私有事实记忆能力，而公共配置完全不展现。该方法自然扩展至多层级，且因授权基于权重结构，可抵抗微调式提取和密钥部分泄露。

DO-ALL是一个即插即用的持续测试时间适应（CTTA）框架。部署前通过数据集蒸馏生成少量合成蒸馏锚点，概括源数据分布；适应过程中，每个目标样本与最语义对齐的锚点匹配，借助源回放、表示对齐和流形平滑正则化提供稳定参考。该框架可无缝集成现有CTTA算法，在CIFAR100-C、ImageNet-C和CCC基准上持续提升长期鲁棒性，无需保留原始源数据。代码已开源。

Rohan Paul@rohanpaul_ai

50

斯坦福、加州大学与南京大学研究人员发布SEFD数据集与方法，将SEC EDGAR文件转换为布局忠实的MultiMarkdown格式，保留合并表头、缩进、符号、跨度和表格层级，同时压缩冗余呈现模板，使财务表格的结构与会计逻辑可被LLM直接利用。公开152B token快照，估计完整档案约550B token长文档。该数据集与Common Crawl衍生语料重叠不足0.1%。

Rohan Paul@rohanpaul_ai

55

斯坦福研究者发布SEFD数据集与处理方法，将SEC EDGAR申报文件转化为适合LLM训练的结构化数据，保留表格结构、缩进、合并表头、符号、跨度及层级关系。公开快照包含152B token，完整档案约550B token。该数据与Common Crawl语料重叠度低于0.1%。采用布局保真的MultiMarkdown格式，大幅压缩原有演示框架，保留财务含义的同时减少token浪费。

BrainSurgery是一种针对神经网络checkpoint的“张量手术”工具，通过声明式YAML计划执行复杂的权重变换。它支持结构修改、数学变换、张量重塑，利用正则表达式和结构定位进行精准操作，并内置断言验证张量形状、数据类型和值，防止静默错误。工具覆盖从模型升级（upcycling）到LoRA提取等四个示例和三个案例研究，旨在提供可重复、可验证的模型编辑基础。

提出基于累积FLOPs的计算感知评估框架，以计算压力替代固定查询预算，引入风险-计算曲线和两项总结指标。在三个系列、四个训练/对齐阶段的十个模型上，使用梯度、迭代优化和模板三种攻击策略在两个越狱鲁棒性基准上测试发现：对齐训练对计算空间鲁棒性呈非单调影响；模型规模扩大降低梯度攻击效果但对低成本模板攻击影响有限；梯度攻击可跨模型迁移；单个模型内不同危害类别间计算成本差异约5倍；安全对齐的RL增加整体攻击成本，但部分类别仍较易攻破。框架已开源。

Code2LoRA 是一种超网络框架，可生成仓库专属的 LoRA 适配器，在推理时零 token 开销注入仓库知识。它支持两种模式：Code2LoRA-Static 将单一仓库快照转为适配器，适合稳定代码库；Code2LoRA-Evo 通过 GRU 隐藏状态随代码 diff 更新适配器，适合演化中的活跃开发。团队构建了含 604 个 Python 仓库的 RepoPeftBench 基准。静态任务中，Code2LoRA-Static 跨仓库 exact match 达 63.8%，仓库内达 66.2%，持平逐仓库 LoRA 上界；演化任务中，Code2LoRA-Evo 跨仓库 exact match 达 60.3%，比单一共享 LoRA 高 5.2 个百分点。代码和数据集已开源。

一项系统研究探讨 Transformer 注意力机制中是否必须使用三个独立的投影（Query、Key、Value）。通过分析多种 QKV 变体结构，论文对「三投影」这一设计选择进行了系统性评估。

研究团队提出 BloomBench（Almieyar 基准系列的一部分），首个基于人类认知的英-阿双语多模态基准。以布鲁姆分类学为框架，系统评估视觉语言模型在记忆、理解、应用、分析、评价、创造六个认知层级的表现。采用半自动化流程构建和分层混合质量保证协议，确保可扩展性与文化包容性。对现有 SOTA 模型的测试揭示：语义理解能力强，但事实回忆和创造性合成严重不足；阿拉伯语与英语之间存在显著性能差距。基准框架与数据集已开源。

Ψ-Bench 是一个新提出的基准测试，旨在评估大语言模型在说服性对话中主动影响用户的能力。它设计了三个真实的交互场景，并通过对话历史为模拟客户赋予具体的人格特征。该基准对 10 个前沿大语言模型进行了评估，发现即使是最先进的模型在说服力方面仍有较大提升空间。研究同时发现，在提供客户档案后，模型性能平均提升 18.24%，凸显了用户特定信息对于实现有效说服的重要性。该工作指出，人格敏感影响力是评估与发展更主动的个性化 AI 智能体的一个有挑战性且实用的方向。

提出PaW框架，通过协同训练策略与世界模型来提升语言智能体性能。该方法直接利用on-policy强化学习rollout中已有的信号（动作与后续观测的配对），无需额外模拟器、训练阶段或推理计算。PaW引入三个组件：基于动作熵的世界模型数据选择、噪声容忍的损失函数以及奖励自适应的损失平衡，以确保辅助监督的稳定性。实验表明，在三个智能体任务基准上，PaW在不同模型和RL算法上均持续优于强RL基线，证实了标准RL rollout可作为世界模型监督的实用来源。

NVIDIA 发布 Cosmos 3 全模态世界模型家族，基于统一混合 Transformer 架构，联合处理与生成语言、图像、视频、音频和动作序列。该模型将视觉-语言模型、视频生成器、世界模拟器及世界-动作模型整合为单一框架，在多项理解与生成任务上达到新 SOTA。技术报告撰写时，后训练版本被 Artificial Analysis 评为最佳开源文生图与图生视频模型，被 RoboArena 评为最佳策略模型。代码、模型权重、合成数据集及评测基准已开源（Linux Foundation OpenMDW-1.1 许可）。

Xetrieval是一种用于解释密集检索行为的嵌入级别的机制性框架。它首先引入轻量级推理内化器，通过单次前向传播在嵌入空间近似链式推理，以增强句子嵌入的推理信息。随后，框架将这些推理增强的嵌入分解为稀疏的、人类可解释的特征，并为每个特征赋予自然语言描述。通过聚合多个文档侧视图的稀疏特征重叠，Xetrieval能够为单个检索决策提供特征级别的解释。实验表明，该方法在不同检索器和基准上能发现连贯的可解释特征，并支持任务级的特征引导。

minWM 是一个开源全栈框架，能将现有的双向视频扩散基础模型（如 Wan2.1-T2V-1.3B 和 HY1.5-TI2V-8B）转换为支持相机控制、低延迟推演的少步自回归世界模型。它提供了模块化的端到端流程，包含可控微调、Causal Forcing++ 流水线与蒸馏步骤，并可适配如 HY-WorldPlay 等现有模型。项目已开源相关脚本、权重及代码。

本研究使用 LoRA 作为控制探针，系统量化了大语言模型的精确参数记忆能力。提出了参数记忆定律，建立了损失减少量与有效参数及序列长度之间的稳健幂律关系。在 token 层面的分析揭示确定性相变，表明预测概率 p > 0.5 是贪心解码下实现逐字记忆的充分条件。基于此，设计了阈值引导的优化策略 MemFT，能动态重分配训练预算以提升记忆保真度与效率。代码将发布于 https://github.com/zjunlp/ParametricMemoryLaw。