今天我们发布了 Qwen-Scope 🔭,一个面向 Qwen 模型族的开源稀疏自编码器工具套件。它将 SAE 特征转化为实用工具:
🎯 推理——通过直接操控内部特征来引导模型输出,无需提示词工程 📂 数据——用极少的种子样本对目标数据进行分类和合成,提升长尾能力 🏋️ 训练——将代码切换与重复生成追溯至其根源,从根上修复 📊 评估——分析特征激活模式,从而选择更智能的基准,减少冗余
我们希望社区能使用 Qwen-Scope 发掘 Qwen 模型内部的新的运作机制,并构建出超越我们当前探索范畴的应用。期待看到你们的成果!🚀
🔗🔗 博客:https://qwen.ai/blog?id=qwen-scope HuggingFace:https://huggingface.co/collections/Qwen/qwen-scope ModelScope:https://modelscope.cn/collections/Qwen/Qwen-Scope 技术报告:https://qianwen-res.oss-accelerate.aliyuncs.com/qwen-scope/Qwen_Scope.pdf