HarnessDev
Can LLMs Create and Evolve Their Own Agent Harness?
HarnessDev 是一个将评测单位从任务输出转为可执行基础设施的基准,分 Creation 和 Evolution 两阶段,覆盖六个创建 LLM、四个领域和五个下游基准共 2,207 个实例。结果显示自建 harness 在代码及搜索研究任务上仍落后成熟人工方案,进化带来的提升不稳定且跨模型迁移有限,论文见 https://huggingface.co/papers/2609.01437。
HarnessDev 是一个将评测单位从任务输出转为可执行基础设施的基准,分 Creation 和 Evolution 两阶段,覆盖六个创建 LLM、四个领域和五个下游基准共 2,207 个实例。结果显示自建 harness 在代码及搜索研究任务上仍落后成熟人工方案,进化带来的提升不稳定且跨模型迁移有限,论文见 https://huggingface.co/papers/2609.01437。
HarnessDev
Can LLMs Create and Evolve Their Own Agent Harness?
来源:AK· x.com