Lilian Weng@lilianweng

Thinking Machines: Efficient training of neural networks is difficult. Our second Connectionism post introduces Modular Manifolds, a theore...

训练大型神经网络时，张量过大或过小会引发数值问题。标准化为黄金标准，但权重矩阵标准化不常见。本文提出将权重矩阵约束到子流形，以简化更新理解、消除范数爆炸、简化超参数调优并保证 Lipschitz 鲁棒性。具体提出流形版 Muon 优化器，将权重约束至 Stiefel 流形（单位条件数矩阵），并定义可组合的模块化流形（Modular Manifold），旨在简化大型网络的缩放与训练。本文为研究方向介绍，并展望未来工作。

SGLang 基于 Thinking Machines Lab 的 batch-invariant 算子实现全确定性推理，解决动态批处理导致的输出差异问题，兼容 chunked prefill、CUDA graphs 及非贪婪采样。该方案将性能开销从 61.5% 降至 34.35%，配合 CUDA graphs 可实现 2.8 倍加速。SGLang 与 slime 合作进一步实现 100% 可复现的 RL 训练，在 Qwen3-8B 验证中两次独立训练产生完全一致的曲线，为科学实验提供可靠保障。

针对 AMD Instinct MI250/MI300 系列 GPU 缺乏原生 FP4 矩阵乘法支持的问题，研究团队推出 Petit 内核集合，通过 FP16/BF16 × FP4 混合精度计算实现在现有硬件上高效运行 FP4 量化模型。该方案使 Llama 3.3 70B 端到端推理性能提升 1.74 倍，矩阵乘法操作较 AMD 官方 hipBLASLt 库快 3.7 倍。Petit 采用离线重排、LDS 无冲突访问及芯片拓扑感知分区等优化技术，已以 BSD 协议开源并集成至 SGLang 0.4.10 版本。

本研究提出了word2vec学习机制的完整定量理论，证明其在实际条件下等价于无加权最小二乘矩阵分解。梯度流动力学具有闭式解，最终词嵌入即为PCA结果。从小初始化开始时，模型通过离散步骤逐次学习正交线性子空间（概念），递增嵌入矩阵的秩。这些潜在特征对应由词共现概率和单字概率等可测量语料统计量决定的矩阵顶部特征向量。

OpenAI 开源模型 gpt-oss 原生采用 MXFP4 量化，但社区长期缺乏针对该低精度格式的训练支持。NVIDIA 推出基于 Model Optimizer 的量化感知训练（QAT）方案，允许在 Blackwell、Hopper、Ampere 及 Ada 等常见 GPU 上直接微调模型，无需转换为 BF16 而牺牲性能。实测显示，经 QAT 微调的 gpt-oss-20b 在多语言推理任务中通过率从 16% 提升至 100%，在安全提示识别任务中从 30% 优化至 97%。微调后的模型可通过 SGLang 部署，保持 MXFP4 格式的推理速度与内存优势。

Yann LeCun@ylecun

Samee Ur Rehman: One of the first pruning methods for neural nets came in 1989: Optimal Brain Damage by @ylecun et al. "We ... derive a c...

Deep Ignorance 技术通过预训练数据过滤为开放权重 LLM 构建内置式防篡改安全防护。该方法在训练阶段筛选数据，将安全能力深度集成于模型权重，使其难以被后续微调或提示注入绕过。这一方案针对开放权重模型易被恶意修改的痛点，提供了从预训练源头建立安全屏障的新路径，在保障模型开放性的同时增强安全性。

Jim Fan@DrJimFan

Elon Musk: Tesla is training a new FSD model with ~10X params and a big improvement to video compression loss. Probably ready for p...

提出一种将注意力机制引入线性探针的新方法。传统线性探针通过训练简单分类器分析神经网络内部表征，该技术引入可学习的注意力权重，使探针能够动态聚焦输入中的关键特征或特定 token，替代全局池化操作。这种方法提升了对模型决策过程的细粒度解释能力，有助于精准定位 Transformer 架构中影响预测的关键信息路径，为大语言模型的可解释性研究提供了更强大的分析工具。

Saining Xie@sainingxie

Lucas Beyer (bl16): Ok this makes me super happy. The "NoFilter" work, paper, and advocacy that @angelinepouget and I argued so hard for is ...

Seed-Prover是基于引理的全证明推理模型，支持根据Lean形式验证反馈、已证引理及自我总结迭代优化证明，并采用三种测试时推理策略实现深度与广度兼顾的推理。该系统在形式化IMO历史题目中完成78.1%，在MiniF2F上实现饱和，在PutnamBench上突破50%，大幅领先此前最优水平。针对Lean缺乏几何支持的问题，团队同步推出Seed-Geometry引擎。该系统参加IMO 2025竞赛，在6道题目中完整证明5道。

Yann LeCun@ylecun

Micah Goldblum: 🚨 Did you know that small-batch vanilla SGD without momentum (i.e. the first optimizer you learn about in intro ML) is ...

Saining Xie@sainingxie

Micah Goldblum: 🚨 Did you know that small-batch vanilla SGD without momentum (i.e. the first optimizer you learn about in intro ML) is ...

slime 团队发布面向大规模 RL 训练的后训练框架 slime，原生集成 SGLang 推理引擎与 Megatron-LM 训练引擎。框架通过 sgl-router 提供可定制 rollout 接口与灵活训练配置，支持同地/解耦部署、同步/异步训练及 SFT 冷启动。用户可通过 OpenAI 兼容 API 与智能体环境交互，无需修改环境代码。框架完整支持 SGLang 优化参数（如 EP MoE、DP Attention）及 Megatron 并行策略（TP/PP/EP/CP），提供独立调试模式与检查点转换工具，基础镜像基于 lmsysorg/sglang:dev。

Saining Xie@sainingxie

Xichen Pan: The code and instruction-tuning data for MetaQuery are now open-sourced! Code: https://github.com/facebookresearch/metaq...

Yann LeCun@ylecun

SandboxAQ: Today we're releasing SAIR, the Structurally Augmented IC50 Repository. SAIR is the Largest Open-Sourced Binding Affinit...

Yann LeCun@ylecun

SandboxAQ: Today we're releasing SAIR, the Structurally Augmented IC50 Repository. SAIR is the Largest Open-Sourced Binding Affinit...

研究团队通过星形域体积估计方法，系统研究随机神经网络参数-函数映射的归纳偏置特性。这项工作建立在先前关于随机采样训练神经网络概率及 Neural Redshift 理论的基础上，致力于解释固定架构下不同任务学习难度存在指数级差异的机制，为理解深度神经网络的泛化能力提供了新的几何分析视角。

Common Pile v0.1 正式发布，这是一个规模达 8TB 的文本数据集，专门收录公共领域及开放许可的文本内容。该数据集提供了海量可合法自由使用的语料资源，适用于大规模语言模型训练等需要合规数据源的场景，旨在解决 AI 训练中的数据版权合规问题。

采用积键记忆（Product Key Memory）技术对稀疏编码器（Sparse Coder）特征进行编码。该方法结合PKM的高效键值检索机制与稀疏表示学习，通过分层记忆结构存储高维稀疏特征，在扩展模型参数容量的同时保持计算效率，适用于大规模特征表示与检索场景。

Lilian Weng@lilianweng

Stephen Roller: Some teams use sweeps, heuristics, or scaling laws to determine their training LR. At Character, we just have Noam Shaze...

Saining Xie@sainingxie

AISTATS Conference: The #AISTATS 2025 Test of Time Award goes to ... 🥁 ... Chen-Yu Lee, Saining Xie, Patrick Gallagher, Zhengyou Zhang, Zhu...

Saining Xie@sainingxie

Peter Tong: We are open-sourcing all the models in Web-SSL, from ViT-L to ViT-7B! It was super fun to train and play with these mass...

PLAID 是一种多模态生成模型，通过学习蛋白质折叠模型的潜在空间，同时生成蛋白质的1D序列与3D全原子结构。该方法仅需序列数据训练（可利用比结构数据库大2-4个数量级的数据），支持基于功能与生物体的组合式提示控制。相比传统仅预测骨架的模型，PLAID 解决了离散序列与连续结构坐标的多模态协同生成难题，为可控蛋白质设计提供了新范式。

DeepSeek@deepseek_ai

DeepSeek发布开源并行文件系统3FS（Fire-Flyer File System），专为现代SSD和RDMA网络优化。180节点集群可实现6.6 TiB/s聚合读取吞吐量，25节点GraySort测试达3.66 TiB/min，单节点KVCache查找峰值超40 GiB/s。采用分离式架构与强一致性语义，支持训练数据预处理、检查点存取及V3/R1推理的KVCache查找。同步开源Smallpond数据处理框架。

针对 TopK SAE 的可复现性研究表明，即使采用相同训练数据和批次顺序，仅改变随机初始化就会导致两个模型仅共享约 53% 的特征，且存在大量无法互相对应的可解释潜变量。进一步分析发现，较窄的 SAE 在不同随机种子间表现出更高的特征重叠度，而随着模型规模扩大，特征一致性反而显著降低。

研究团队提出Anthology方法，利用包含丰富个人价值观与经历细节的自然主义背景故事（backstories）作为条件上下文，引导语言模型生成具有代表性、一致性和多样性的虚拟人格。该方法突破了以往仅依赖人口统计标签（如年龄、性别）导致的刻板印象局限，使LLM能够从"人口混合声音"转向精确模拟个体人类样本，显著提升了模拟保真度，为计算社会科学研究提供了可计算协方差与统计显著性的个体级数据支持。

通过解读稀疏自编码器（SAE）潜变量并模拟激活值，研究者实现了用自然语言部分重写大语言模型。该方法利用 SAE 提取的可解释特征，将自然语言描述转化为具体的神经元激活模式，无需修改模型权重即可调整其行为。这项技术为模型编辑和机制可解释性提供了新工具，使通过人类可读的语言直接操控模型内部表征成为可能。

该工作概述了 minetester 框架及其在识别 LLMs 训练数据风险方面的初步应用。作为第三方评估工具，minetester 旨在通过系统性审计发现训练数据中的潜在安全隐患，提升模型透明度。概述内容涵盖该工具的核心架构、评估方法论以及早期实验结果，展示了外部审计机制在大语言模型安全治理中的可行性。