Stanford CS336课程指出，过去三年主流大语言模型架构高度收敛，约90%组件形成共通模板。核心包括：架构普遍采用pre-norm、RMS Norm、无偏置、SwiGLU/GeGLU激活函数、RoPE位置编码；超参数如FFN维度比例、注意力头配置、模型纵横比等已成惯例。为保障训练稳定，Z-loss、QK norm等技术被广泛使用；GQA成为推理部署标配，局部与全局attention交替是处理长上下文的新趋势。这套模板被视为2026年开源LLM的“默认配置”。