关键要点

• 一个德国研究联盟发布了开源大语言模型 Soofi S，该模型完全在德国电信的 AI 云基础设施上完成训练。
• 该模型采用资源高效的混合架构，每生成一个模型 token 仅激活其 316 亿参数中的 32 亿，即使输入极长也能保持处理速度恒定。
• 由于训练数据高度侧重德语，Soofi S 在德语、英语和编程任务的基准测试中，表现优于其他完全开源模型，如 Olmo 3 32B 和 Apertus 70B。

Soofi S 是首批完全在慕尼黑德国电信工业 AI 云上训练的大语言模型之一。这款开源的 30B 模型采用精简的混合架构，训练数据组合有意向德语倾斜。

由德国人工智能协会（KI Bundesverband）协调的德国研究联盟发布了 Soofi S 30B-A3B，这是一款开源大语言模型。根据其预训练报告，该模型在英语和德语基准测试中，于完全开源模型中取得了最高分数，超越了此前领先的 OLMo 3 32B 和 Apertus 70B。

为长上下文而构建的精简架构

Soofi S 是一款混合专家模型。它总共包含 316 亿参数，但每生成一个模型 token 仅激活约 32 亿参数。这使得其计算成本更接近 3B 模型，而非传统的 30B 模型。该联盟直接采用了英伟达 Nemotron 3 Nano 的架构，这是一种结合了 Mamba-2 层与标准注意力层的混合设计。

与传统 Transformer 架构的关键区别在于内存行为。在传统模型中，用于注意力计算、存储先前模型 token 的 KV 缓存会随上下文长度线性增长。当输入较长且并行请求较多时，重新加载该缓存会成为瓶颈。而 Soofi S 的 52 层中，仅有 6 层会维护这样的缓存。

实际收益体现在生成吞吐量上。在上下文长度为 40,000 个 token、32 个并行请求的情况下，Soofi S 每 GPU 每秒生成的 token 数量大约是 140 亿到 240 亿参数规模稠密模型的八倍。随着上下文增长，传统模型的吞吐量显著下降，而 Soofi S 在 4,000 到 256,000 个 token 范围内几乎保持平稳。在测量中，唯一表现出类似行为的模型是阿里巴巴的通义千问 Qwen3.5 35B-A3B，它也采用了混合架构。

围绕德语构建的训练数据混合

该联盟总共处理了约 27 万亿个 token，分为三个阶段。在第一阶段，模型从约 20 万亿个 token 中学习语言基础知识，这些 token 来自网络、代码、数学和特定领域文本的广泛混合。第二阶段紧随其后，使用约 6 万亿个来自更高质量来源的 token，旨在强化之前学到的模式。随后，一个较短的第三阶段通过训练长达一百万个 token 的超长文档来扩展上下文窗口。

对德语的刻意关注是核心。在第一阶段，德语占训练数据混合的 7.2%；在第二阶段，这一比例上升到 15.3%。在英伟达的 Nemotron 参考方案中，所有非英语语言合计仅占约 5%。

在数据来源方面，该联盟结合了来自 HPLT 的德语网络文本、开放许可的德语 Commons 语料库、FinePDFs 和 FineWiki 中的德语部分，以及商业授权的 Genios 语料库（包含来自 916 家德语出版物的 1.93 亿篇报纸文章）。机器翻译和合成生成的德语文本则构成了数据混合的其余部分。

在德语和英语方面均取得顶尖开源模型得分

根据报告，在与另外 16 个开源模型的评估对比中，Soofi S 在德语和英语的综合得分上均领先所有完全开源模型。这包括艾伦人工智能研究所的 OLMo 3 32B 以及苏黎世联邦理工学院和洛桑联邦理工学院的 Apertus 70B。与所有欧洲主权基线模型相比，该模型在该套件的所有德语基准测试中均表现领先，有时领先幅度达到两位数百分比。

在代码基准测试中，Soofi S 在 HumanEval 上得分为 73.8%，在 MBPP 上为 70.2%，在德语版 MBPP 上为 84.2%，均为开源模型中的最佳成绩。在针对德国特定区域知识的测试 INCLUDE-DE 中，Soofi S 与规模更大的 Qwen3.5 35B-A3B 并列第一，得分均为 61.2 分。与 Nemotron 基线模型相比，德语数据方案使语言能力提升了 15.1 分，科学测试 GPQA-Diamond 提升了 9.6 分，且未牺牲英语性能。

Soofi S 在德语竞赛数学方面表现不佳，在 Minerva MATH-DE 上得分为 56 分，远落后于 Qwen3.5 35B-A3B（76.5 分）和 Gemma 3 27B（65.6 分）。在 NaturalQuestions 的开放事实检索方面也表现落后。后者可能与其仅有 30 亿个活跃参数有关，这使其能够存储的世界知识少于稠密的 27B 模型。

RULER 长上下文测试还揭示了一个特定弱点：当模型需要从长文本中提取频繁出现的词语时，在上下文超过 32,000 个 token 后，Soofi S 的命中率降至约 3%，而可比的 Nemotron 模型仍能达到 60% 至 64%。作者将此归因于其长上下文训练数据包含许多长文档，但缺乏专为提取任务设计的合成数据。在其余十二项 RULER 任务中，两个模型的表现大致相同。

主权基础设施与有据可查的开放性

训练运行于三月至五月期间进行，在慕尼黑德国电信工业人工智能云上使用了多达 512 块 Nvidia B200 GPU，总计约 253,000 GPU 小时。根据报告，该设施完全使用可再生能源运行，冷却用水取自 Eisbach 运河，并将废热输送到周边的 Tucherpark 街区。Soofi S 是该基础设施上首批大规模训练运行之一。

Soofi 背后是由德国研究机构和企业组成的联合体，由德国人工智能协会协调，并作为欧洲 IPCEI-CIS 项目的一部分，由德国联邦经济事务和能源部资助。

参与方包括弗劳恩霍夫 IAIS 和 IIS 研究所、德国人工智能研究中心（DFKI）、达姆施塔特工业大学、维尔茨堡大学、L3S 研究中心、柏林应用科学大学，以及人工智能公司 Ellamind 和 Merantix Momentum。该项目目标是构建一个可在主权基础设施上运行并用于工业应用测试的开放欧洲人工智能模型系列。

研究人员将发布模型权重以及选定的中间检查点、完整的训练和评估代码，以及一份详细的数据清单，列出原始 token 数量、训练轮次数和各数据源的有效贡献。经过审查但被排除的数据源也一并记录在案。研究团队表示，这意味着 Soofi S 符合开放源代码促进会的《开源人工智能定义 1.0》。

一项更严格的欧洲开放数据定义提案要求每个训练 token 都必须可自由分发，但由于 Genios 数据占 1.3% 的份额且带有商业许可，Soofi S 未能满足该要求。报告称，约 99% 的训练数据组合可以独立重建。该模型发布的具体许可尚未最终确定。

正如主要作者 Michael Fromm 所写，Soofi S 将自己定位在覆盖多种语言的广泛多语言欧洲主权项目（如 EuroLLM 或 Teuken）与性能最高的国际开源权重模型之间。根据项目官网介绍，该联盟正在为下一阶段寻找行业合作伙伴，以便在涉及技术文档、代码生成和基于智能体的系统等应用中测试该模型。