多智能体大语言模型系统正越来越多地被部署为自主协作者，其中智能体自由互动，而非执行固定的、预先指定的工作流程。在这种设置下，有效的协调无法完全提前设计，而必须通过互动涌现。然而，大多数先前的工作通过固定的角色、工作流程或聚合规则来强制执行协调，这就留下了一个问题：当协调不受约束时，自组织团队的表现如何。借鉴组织心理学，我们研究了自组织大语言模型团队是否能实现强大的协同效应，即团队表现达到或超过最佳个体成员。在受人类启发的基准测试和前沿机器学习基准测试中，我们发现——与人类团队不同——大语言模型团队始终无法匹配其专家智能体的表现，即使明确告知他们谁是专家，在机器学习基准测试上性能损失高达41.1%。分解这种失败，我们表明专家利用（而非识别）是主要瓶颈。对话分析揭示了一种整合性妥协的倾向——平均专家与非专家观点，而非适当加权专业知识——这种倾向随团队规模增大而增加，并且与表现呈负相关。有趣的是，这种寻求共识的行为提高了对对抗性智能体的鲁棒性，表明对齐与有效利用专业知识之间存在权衡。我们的发现揭示了自组织多智能体团队在利用其成员集体专业知识能力方面的显著差距。

• † 斯坦福大学
• ‡ 埃默里大学

探索机器学习中的机会。

我们在机器学习领域的研究每天都在开创新天地。

加入我们