AK · @_akhaliq · X·2026-09-04 08:19·44分钟前
AI 导读

HarnessDev 是一个将评测单位从任务输出转为可执行基础设施的基准,分 Creation 和 Evolution 两阶段,覆盖六个创建 LLM、四个领域和五个下游基准共 2,207 个实例。结果显示自建 harness 在代码及搜索研究任务上仍落后成熟人工方案,进化带来的提升不稳定且跨模型迁移有限,论文见 https://huggingface.co/papers/2609.01437。

AK@_akhaliq
24AI 编辑部评分,满分 100
2026-09-04 08:19· 44分钟前
AI 导读

HarnessDev 是一个将评测单位从任务输出转为可执行基础设施的基准,分 Creation 和 Evolution 两阶段,覆盖六个创建 LLM、四个领域和五个下游基准共 2,207 个实例。结果显示自建 harness 在代码及搜索研究任务上仍落后成熟人工方案,进化带来的提升不稳定且跨模型迁移有限,论文见 https://huggingface.co/papers/2609.01437。

HarnessDev

Can LLMs Create and Evolve Their Own Agent Harness?

paper: https://huggingface.co/papers/2609.01437