Great paper from DeepMind on effective model routing strategies.
New research from Google DeepMind on effective model routing. LLM routers get judged on accuracy and cost. Both can look great while the router is meaningless. ...
Google DeepMind 新研究指出,仅凭准确率和成本评估大语言模型路由器可能产生误导。若路由池中模型输出高度同质,路由便失去意义;若同一查询的不同改写被分给不同专家,路由则不稳定。论文提出决定路由有效性的两个关键属性——模型间的行为差异化与对表面形式改写的稳定性——且二者与任务准确率正交。实际启示:使用混合智能体或模型路由时,整体准确率可能掩盖冗余或分配不一致的路由器,上述两项检验可识别出看似优秀实则无效的路由方案。
Great paper from DeepMind on effective model routing strategies.
Google DeepMind 新研究指出,仅凭准确率和成本评估大语言模型路由器可能产生误导。若路由池中模型输出高度同质,路由便失去意义;若同一查询的不同改写被分给不同专家,路由则不稳定。论文提出决定路由有效性的两个关键属性——模型间的行为差异化与对表面形式改写的稳定性——且二者与任务准确率正交。实际启示:使用混合智能体或模型路由时,整体准确率可能掩盖冗余或分配不一致的路由器,上述两项检验可识别出看似优秀实则无效的路由方案。
Great paper from DeepMind on effective model routing strategies.