冻结的大语言模型在其隐藏状态深处仍然携带可读的行为信号。

而 Proprioceptive AI 创建了 Cygnus，它能让大语言模型感知自身内部思考模式，从而大幅提升准确性。

这仅用一块 RTX 3090 就将 Qwen-32B 在 ARC-Challenge 上的成绩从 82.2% 推升至 94.97%。

也就是说，Cygnus 为冻结的大语言模型配备了自我感知适配器，能够读取其内部认知几何结构。

这些适配器将隐藏状态投影到一个由 gl（4，R） 李代数定义的数学空间，以隔离暗模式。

那些暗模式中保存了被标准归一化消除的大部分与准确性相关的信号。

这一设计在无需任何模型重新训练的情况下带来了显著的基准性能提升。

对激活几何结构的数学洞察能在无需完整重训练的情况下提升可靠性，真是令人惊叹。

他们目前在其 droplet 上支持多达 50，000 名用户同时使用。