# ITBench-AA：前沿大模型在首个智能体企业IT任务基准测试中得分均低于50%

- 来源：Hugging Face：Blog（RSS）
- 发布时间：2026-05-28 01:20
- AIHOT 分数：70
- AIHOT 标记：精选
- AIHOT 链接：https://aihot.virxact.com/items/cmpobyo1b04qeslv4jzefv5eu
- 原文链接：https://huggingface.co/blog/ibm-research/itbench-aa

## 精选理由

IT运维这事儿，AI还是新手。ITBench-AA这份基准把Claude Opus 4.7逼到47%，开源模型GLM-5.1却用五分之一成本拿到40%，企业场景性价比可能不在闭源那边。

## AI 摘要

由Artificial Analysis和IBM推出的ITBench-AA SRE基准测试显示，所有前沿大模型得分均未超过50%。Claude Opus 4.7（自适应推理，最大努力）以47%领先，GPT-5.5（xhigh）和Qwen3.7 Max分别得46%和42%。该测试包含59个需要通过Shell命令调查Kubernetes事件快照并提交根因诊断的智能体任务。关键发现是模型推理轮次差异近3倍，但更长的轨迹并不转化为更高准确率，过度调查的模型会因提交误报而受罚。在成本方面，开源模型Gemma 4 31B（Reasoning）以每任务$0.14的成本获得37%得分，优于成本更高但得分更低的闭源模型。

## 正文

Artificial Analysis 与 IBM 软件创新实验室联合推出 ITBench-AA，这是评估模型在智能体企业 IT 任务上表现的全新基准系列中的首个基准，首先从站点可靠性工程任务开始，前沿模型在该任务上的得分低于 50%。ITBench-AA 的 SRE 任务对模型在 Kubernetes 事件响应方面的性能进行基准测试，模型和智能体必须通过读取日志、追踪依赖关系以及识别复杂基础设施中的根因实体来诊断实时系统。底层 ITBench 数据集由 IBM 开发，充分利用了其在企业 IT 运营方面的深厚专业知识。Artificial Analysis 在过去 6 个月中与 IBM 密切合作，为该数据集开发了适用于前沿 AI 评估的实现方案，从站点可靠性工程（SRE）开始，并逐步扩展到财务运营（FinOps）和首席信息安全官（CISO）任务。

关键发现：

Claude Opus 4.7（自适应推理，最大努力）以 47% 的得分领先，其次是 GPT-5.5（xhigh）的 46% 和 Qwen3.7 Max 的 42%。

所有前沿模型的得分均低于 50%，这使得 ITBench-AA SRE 成为我们基准套件中饱和度最低的智能体基准之一。作为参考，前沿模型在 Terminal-Bench 上的得分要高得多。

交互轮次数量差异接近 3 倍，且更长的推理轨迹并不会转化为更高的准确率。GPT-5.5（xhigh）每项任务平均 31 轮，准确率为 46%，而 Gemini 3.1 Pro Preview 平均 83 轮，准确率仅为 30%。过度调查的模型往往会将上游故障注入机制或并发症状误报为假阳性。

GLM-5.1（推理）以 40% 的得分领先于开放权重模型，与 Gemini 3.5 Flash（高）基本持平。DeepSeek V4 Pro（推理，最大努力）以 38% 紧随其后，Gemma 4 31B（推理）为 37%，领先于 Gemini 3.1 Pro Preview 的 30%。

ITBench-AA SRE 概览：

总共 59 个 SRE 任务：40 个公开任务和 19 个全新的、未公开的任务

每个任务提供一个 Kubernetes 事件快照，其中包含告警、事件、追踪、指标、日志和应用拓扑。模型必须识别出导致该事件的、最小的一组独立根因 Kubernetes 实体。

故障涵盖典型的 SRE 故障模式，包括基础设施、服务、应用以及混沌注入事件，例如资源配额耗尽、发布失败、连接池耗尽和网络分区。方法论细节如下：

智能体框架：每个任务由运行在我们开源 Stirrup 参考框架中的模型解决，该模型具有对包含相关日志和快照的沙盒文件系统的 shell 访问权限。每个任务上限 100 轮交互，每个任务重复 3 次。

模型和智能体提交一份它们认为导致事件的根因实体列表（Kubernetes 部署、服务、Pod 等）。每次提交都会与 IBM 提供的真实根因集合进行比对。

评分采用全召回率下的平均精确率：如果模型遗漏了任何真实根因，则该次重复得分为 0.0。如果模型识别出所有真实根因，则其得分等于其精确率——即提交的实体中实际为根因的比例，也就是真正例 /（真正例 + 假正例）。最终得分为 59 个任务 × 3 次重复的平均值。

该框架（Stirrup）在所有评估模型中保持不变，从而允许模型之间进行公平对比。

亮点

任务要求智能体通过 shell 命令调查 Kubernetes 事件快照，并提交结构化的 JSON 诊断结果，以识别负责的根因实体。在一个公开的 SRE 任务中，智能体在前端路径中观察到面向用户的故障。它使用 shell 命令检查离线快照：查看告警以确定事件窗口，然后通过追踪/日志将故障范围缩小到前端流量。拓扑图定位受影响的服务，Kubernetes 清单显示存在一个阻止前端的网络策略。成功的诊断识别出负责的根因实体：otel-demo/NetworkPolicy/frontend-block-all-ports。

更多的交互轮次并不等同于更好的答案。那些提交了超出真正根本原因之外额外相关实体的模型会受到惩罚：在召回率约束下的精确率指标中，识别出正确根本原因但额外添加了上游机制（例如 chaos-mesh 控制器）或伴随症状，会被视为误报。这就是为什么一些长轨迹模型的得分反而低于更简洁的模型：Gemini 3.1 Pro Preview 平均 83 轮，得分 30%；而 Gemma 4 31B（推理版）平均 58 轮，得分 37%。

开放权重模型处于 ITBench-AA SRE 评测的成本前沿。Gemma 4 31B（推理版）每个任务成本 0.14 美元，得分 37%，在得分和成本两方面均优于 Gemini 3.1 Pro Preview（每个任务 2.23 美元，得分 30%）。GLM-5.1（推理版）每个任务成本 1.23 美元，得分 40%，以更低成本达到了与 Gemini 3.5 Flash（高）相同的得分（后者成本 1.70 美元）。Claude Opus 4.7（自适应推理，最大努力模式）以 47% 的得分领跑排行榜，但也是成本最高的，每个任务需 5.38 美元。

ITBench-AA 是与 @IBM 合作，基于其 ITBench 基准构建的。

更多信息请参见：ITBench 论文（arXiv）：https://arxiv.org/abs/2502.05352

GitHub：https://github.com/itbench-hub/ITBench

ITBench-AA 排行榜：https://artificialanalysis.ai/evaluations/itbench-aa

ITBench-AA HuggingFace 仓库：https://huggingface.co/datasets/ArtificialAnalysis/ITBench-AA/tree/main/sre