摘要：Hugging Face 上的基准数据集现在可以托管排行榜。模型自行存储其评估分数。所有内容相互关联。社区可以通过 PR 提交结果。经过验证的徽章可证明结果可复现。

评估机制已失效

让我们正视 2026 年评估领域的现状。MMLU 在 91% 以上已趋饱和。GSM8K 达到 94% 以上。HumanEval 已被攻克。然而，根据使用报告，一些在基准测试中表现出色的模型，仍然无法可靠地浏览网页、编写生产级代码，或在处理多步骤任务时避免模型幻觉。基准测试分数与实际性能之间存在明显差距。

此外，已报告的基准测试分数内部也存在差距。多个来源报告了不同的结果。从模型卡到论文，再到评估平台，报告分数之间缺乏一致性。其结果是，社区缺乏一个单一的真实信息来源。

我们正在推出的功能

去中心化且透明的评估报告。

我们将把 Hugging Face Hub 上的评估工作引向一个新方向，即通过去中心化报告，允许整个社区公开提交基准测试的分数。首先，我们将从 4 个基准测试的候选名单开始，并随着时间的推移扩展到最相关的基准测试。

对于基准测试：数据集仓库现在可以注册为基准测试（MMLU-Pro、GPQA、HLE 已上线）。它们会自动聚合来自 Hub 各处报告的结果，并在数据集卡中显示排行榜。基准测试通过 eval.yaml 文件（基于 Inspect AI 格式）定义评估规范，以便任何人都可以复现。报告的结果需要与任务定义保持一致。

对于模型：评估分数存放在模型仓库的 `.eval_results/*.yaml` 文件中。它们会显示在模型卡上，并反馈到基准测试数据集中。模型作者提交的结果以及针对结果发起的开放拉取请求都会被汇总。模型作者将能够关闭分数相关的 PR 并隐藏结果。

面向社区：任何用户都可以通过 PR 提交任意模型的评估结果。结果会显示为“社区”来源，无需等待模型作者合并或关闭。社区可以链接到论文、模型卡、第三方评估平台等来源，或查看评估日志。社区可以像对待任何 PR 一样讨论评分。由于 Hub 基于 Git，因此会保留评估添加时间、修改时间等历史记录。来源示例如下。

要了解更多关于评估结果的信息，请查阅文档。

Hub 中的模型评分

为何重要

去中心化评估将公开社区中已存在于模型卡和论文等来源中的评分。通过公开这些评分，社区可以在此基础上进行聚合、跟踪和理解整个领域的评分。此外，所有评分都将通过 Hub API 公开，从而便于聚合和构建精选排行榜、仪表盘等。

社区评估不会取代基准测试，因此排行榜和已发布结果的封闭评估仍然至关重要。然而，我们认为，基于可复现的评估规范提供开放的评估结果，对于推动该领域发展具有重要意义。

这不会解决基准测试饱和问题，也不会缩小基准测试与现实之间的差距。它也不会阻止在测试集上进行训练。但它通过公开评估内容、评估方式、评估时间和评估人员，让整个游戏变得透明可见。

最重要的是，我们希望将 Hub 打造成一个构建和共享可复现基准测试的活跃场所，尤其关注那些更能挑战 SOTA 模型的新任务和新领域。

阅读文档：要了解更多关于评估结果的信息，请查阅文档。

添加评估结果：将您进行的评估以 YAML 文件形式发布到任意模型仓库的 `.eval_results/` 目录下。

查看基准测试数据集上的评分。

注册新基准测试：将 `eval.yaml` 添加到您的数据集仓库，并联系我们以列入候选名单。

该功能目前处于测试阶段。我们正在进行开放式构建。欢迎提供反馈。