Rohan Paul@rohanpaul_ai · X精选77
精选理由
用Lie代数揪出模型内部的“黑暗模式”，在ARC上狂涨12个点还只要一张3090，如果真能泛化到其他任务，这或许是今年最巧妙的模型增强方案，但单基准提升仍需更多验证。
AI 摘要
Proprioceptive AI开发的Cygnus技术，通过为冻结的大语言模型添加自感知适配器，使其能读取内部认知几何。该技术将模型的隐藏状态投影到由gl(4,R)李代数定义的数学空间，分离出包含主要精度信号的“暗模式”，从而无需重新训练即可显著提升模型性能。例如，仅用一张RTX 3090显卡，就将Qwen-32B在ARC-Challenge基准上的准确率从82.2%提升至94.97%。其适配器将覆盖从3B到405B的多款模型，服务节点可支持5万用户并发，预计本周末上线。相关设计论文已公开。
AI 翻译 · 中文
冻结的大语言模型在其隐藏状态深处仍然携带可读的行为信号。
而 Proprioceptive AI 创建了 Cygnus，它能让大语言模型感知自身内部思考模式，从而大幅提升准确性。
这仅用一块 RTX 3090 就将 Qwen-32B 在 ARC-Challenge 上的成绩从 82.2% 推升至 94.97%。
也就是说，Cygnus 为冻结的大语言模型配备了自我感知适配器，能够读取其内部认知几何结构。
这些适配器将隐藏状态投影到一个由 gl(4,R) 李代数定义的数学空间，以隔离暗模式。
那些暗模式中保存了被标准归一化消除的大部分与准确性相关的信号。
这一设计在无需任何模型重新训练的情况下带来了显著的基准性能提升。
对激活几何结构的数学洞察能在无需完整重训练的情况下提升可靠性，真是令人惊叹。
他们目前在其 droplet 上支持多达 50,000 名用户同时使用。
Final adverserial testing is wrapping up now on small models, GPU's arriving daily, 1TB ram so far, 128 VRAM and adding. Will have adapters up to Nous Hermes 40...