Berryxia.AI@berryxia · XAI 摘要
ExaAILabs的一项关键实验表明，在强化学习阶段训练大语言模型的搜索能力时，使用其Exa搜索API替代Google数据，不仅能使模型达到更高性能，还可节省高达70%的训练算力。这一结果直接挑战了“提升AI搜索能力主要依赖增加算力”的普遍观点，揭示了搜索工具本身的质量与效率可能更具决定性影响。该发现为从事AI Agent、RAG以及训练具备搜索能力大模型的团队提供了重要启示，意味着未来LLM训练的效率竞争可能始于对底层工具的选择。
ExaAILabs刚测完一个关键实验。
他们在强化学习阶段训练LLM搜索能力，一组喂Google数据，一组用他们的Exa搜索API。
结果用Exa的那组，模型性能更高，训练算力却省下了70%。
整整70%。
这个发现有点出乎意料
很多人还坚信想让AI搜索做得更好就只能靠堆更多算力。
但真实情况可能是搜索工具本身的质量和效率决定性远大于算力数量。
这对所有搞AI Agent、做RAG、训练带搜索能力大模型的团队来说是个重大信号。
我看完blog后感觉未来LLM训练的效率战可能要从选对工具开始打起。
如果你在做相关方向强烈建议去读他们的完整blog。
How does Exa compare to Google for training LLMs to search? In this blog post, we find that LLMs using Exa during reinforcement learning reach higher performanc...