一直好奇，为啥最近大模型参数都能上 T，且质量超好？
感觉跟新模型构架有关系。
从一篇文章发现个叫 Gated Delta Networks 的东西，建立在Mamba思想上。
无论英伟达的Nemotron 模型、还是Kimi的Kimi Delta Attention，Qwen 的最新模型构架。
都是类似混合构架，有必要今天好好学习下这篇论文。
向阳乔木@vista8 · XAI 摘要
一篇论文揭示的Gated Delta Networks架构，基于Mamba思想，是英伟达Nemotron、Kimi Delta Attention及Qwen最新模型等采用类似混合架构、实现参数规模突破T且质量优异的核心原因。该架构正成为大模型参数规模和质量提升的关键技术。
一直好奇，为啥最近大模型参数都能上 T，且质量超好？
感觉跟新模型构架有关系。
从一篇文章发现个叫 Gated Delta Networks 的东西，建立在Mamba思想上。
无论英伟达的Nemotron 模型、还是Kimi的Kimi Delta Attention，Qwen 的最新模型构架。
都是类似混合构架，有必要今天好好学习下这篇论文。