# 线性注意力模型实现零训练推理偏差

- 来源：Nathan Lambert (@natolambert)
- 发布时间：2026-08-07 21:54
- AIHOT 分数：27
- AIHOT 链接：https://aihot.virxact.com/items/cmsj0x5jh20xaronk350vfkju
- 原文链接：https://x.com/natolambert/status/2085726242314346760

## AI 摘要

研究团队在TorchTitan RL + vLLM上为Gated DeltaNet（Qwen3.5-9B/35B-A3B）实现训练/生成逐位一致，logprob差为0，为开源首个线性注意力模型达成此目标。异步RL下，offpolicy=32时标准栈偏差超0.065，新方法保持约0.035。代价是训练吞吐量降低2-3倍，团队建议将其作为调试工具而非生产默认。

## 正文

nice rl experiment on train-inference mismatch

### 引用推文

> Yichuan Wang：Zero Train-Inference Mismatch - now for linear attention, and under async RL 🎯 We got bitwise-exact trainer/generator parity for Gated DeltaNet (Qwen3.5-9B / 3...