IT之家 4 月 30 日消息，今日，阿里千问宣布推出 Qwen-Scope—— 基于 Qwen3 系列和 Qwen3.5 系列模型训练所得的可解释性模块。

据介绍，阿里千问在 Qwen 隐藏层插入稀疏自编码器（SAE）并加以训练，通过施加稀疏性约束，自动提取出高度解耦、低冗余且更具可解释性的隐藏空间特征。Qwen-Scope 不仅可以用于分析 Qwen 模型行为的内在机制，也在模型优化上有着巨大潜力，应用场景包括推理结果定向控制、数据分类与合成、模型训练与优化、评估样本分布分析与对比等。

IT之家附官方详细介绍如下：

Qwen-Scope 核心亮点包括：

推理：无需显示给出自然语言指令，实现推理结果定向控制；

数据：仅需少量种子数据便可收集用于数据分类的特征，显著降低数据依赖；同时可以使用未激活特征信息定向构造数据，补足长尾能力；

训练：通过分析语言混用和重复生成等低错问题，定位异常激活特征，在监督微调和强化学习阶段辅助模型训练，降低此类回复出现频率；

评估：计算不同样本间或不同评测集间特征激活模式，联合判断评测冗余程度，指导挑选评测集、提升评测能力覆盖度、降低评测成本。

整体概览

本次 Qwen-Scope 开源的权重涉及 7 个大模型，覆盖 Qwen3 及 Qwen3.5 系列的稠密模型和混合专家模型，共有 14 组稀疏自编码器权重。为了使得稀疏自编码器特征分布广、语义含义强、训练过程稳定可靠，我们从对应模型的预训练数据采样了 0.5B 词元数据规模进行训练。