大语言模型作为评委的专家组汇总多个模型的投票，期望通过多样化的模型获得更可靠的评估结果。我们建立了一个框架来衡量此类专家组的真实信息价值，并量化其可靠性距离独立投票理想值有多远。我们在三个自然语言推理数据集（每个数据项有 100 个人工标注）上测试了一个由来自 7 个模型家族的 9 个前沿大语言模型组成的专家组，发现这 9 位评委实际上只提供了大约 2 票独立投票的信息量。专家组标称独立性的约四分之三因模型在同一数据项上犯相同错误而丧失。后果十分显著：专家组的实际准确率比独立投票所能达到的准确率低 8 到 22 个百分点，而最好的单一评委在所有条件下都匹配或超越了整个专家组的表现。增加更多评委或使用更聪明的聚合算法均无济于事——即使能拿到正确答案，现有方法最多也只能弥补这一差距的 11%。我们使用 Kish 有效样本量（n_eff）和孔多塞零模型量化了这些发现，并证明该缺陷在提示词变体、温度参数、链式推理以及一项成对偏好任务（RewardBench）中均稳健存在。瓶颈在于评委之间的相关性，而非聚合算法本身，这意味着扩大专家组规模无法替代真正独立的评估。

在机器学习领域发现机遇。

我们的机器学习研究每天都在突破新领域。

加入我们。