# 企业AI智能体评估存在"现实对齐"缺口：半数组织曾将通过内部测试的智能体部署到生产环境后导致客户故障 - 来源：VentureBeat：AI（RSS） - 发布时间：2026-07-17 00:40 - AIHOT 分数：72 - AIHOT 标记：精选 - AIHOT 链接：https://aihot.virxact.com/items/cmrnrc11901tnbizz2dlcio3z - 原文链接：https://venturebeat.com/ai/the-agent-evaluation-gap-enterprise-ai-organizations-have-a-reality-alignment-problem-not-a-coverage-problem-and-most-are-shipping-to-production-anyway ## 精选理由 VentureBeat对157家企业的调查暴露了一个尖锐矛盾：一半被已通过评估的代理在生产中打脸，但三分之二仍在推进零人工审核的自动部署。所有构建代理的团队都该读这份预警。 ## AI 摘要 对157家企业的调查显示，50%的组织在过去一年曾部署通过内部评估但导致客户故障的AI智能体或大语言模型功能，5%的企业完全信任自动化评估，29%认为评估与现实结果对齐不佳是最大局限。尽管信任度低，66%的企业已允许或正计划在12个月内实现低风险智能体的全自动、无人工干预部署。 ## 正文 在157家企业中，各组织正在赋予AI智能体更多自主权，同时却对旨在管控这种自主权的评估体系信任度降低。半数企业已部署的智能体通过了内部评估，却在生产环境中导致客户失败；目前只有二十分之一的企业完全信任自动化评估；最常被提及的缺陷是评估结果与现实世界结果不一致。然而，三分之二的企业已经允许或正在积极规划，仅凭自动化评估就将智能体变更部署到生产环境——无需人工介入。由此产生了评估鸿沟——即企业赋予智能体的自主权程度，与它们对理应发现故障的测试的信任度之间的差距。 本期VentureBeat Pulse研究调查了技术领导者如何衡量智能体性能：他们使用哪些可靠性和评估平台，如何选择并信任这些平台，生产环境中会出现哪些问题，以及他们在多大程度上愿意让智能体在没有人工干预的情况下运行。 核心发现是存在一个评估鸿沟——即企业赋予智能体的自主权，与它们对旨在管控这种自主权的评估体系的信任度之间的差距。半数组织（50%）在过去一年中，曾部署过通过内部评估、但随后导致面向客户故障的智能体或大语言模型功能，四分之一的企业甚至经历过不止一次。对测试本身的信任度也很薄弱：目前只有5%的企业完全信任自动化评估，最常被提及的限制是评估结果与现实世界结果的一致性较差（29%）。企业正在发现，通过评估并不等同于智能体能够正常工作。 这种差距之所以影响重大，在于其发展趋势。三分之二（66%）的组织已经允许对低风险智能体进行完全自动化、无人工干预的部署（34%），或者正在积极改造其流程，以便在十二个月内实现这一目标（33%）。与此同时，本应赢得这种信任的评估体系却支离破碎且尚不成熟：最常见的主要工具是模型提供商的原生评估，与完全没有专用工具的比例相同（各占17%）；并且只有约四分之一的企业对线上生产流量进行实时质量检查。自主性的到来速度超过了保障能力。 研究方法 VentureBeat 将本次调查作为其持续进行的 Pulse Research 系列的一部分。本次调查——智能体可靠性与评估追踪——聚焦于技术领导者如何评估智能体的性能和可靠性。受访者筛选自员工人数在 100 人及以上的组织（n=157），数据来源于 2026 年 6 月的一次单一调查；由于这是单次调查而非多月的汇总样本，报告以横截面方式解读，不推断逐月趋势。对于多选题，各项占比之和可能超过 100%。 从职位来看，样本具有高级别和采购决策权：38% 是 AI 采购的最终决策者，另有 34% 是推荐者或影响者。产品与项目经理（15%）、顾问与咨询师（10%）、工程/IT 总监（8%）以及 CIO/CTO/CISO（8%）是主要列出的职位，此外还有占比很大的“其他”职能（37%）。从组织规模来看，样本以中型市场为主：100-499 人（37%）和 500-2,499 人（27%）的员工规模领先，其次是 2,500-9,999 人（20%）、10,000-49,999 人（10%）和 50,000 人以上（6%）。技术/软件行业占比最大，为 23%，其次是零售/消费品（15%）、医疗/生命科学（12%）和制造业（10%）。 在157名受访者中，样本量足以指示方向，但应将其视为方向性信号而非精确测量结果；该样本为自选样本，并非概率样本。样本偏向于中端市场，因此最好将其解读为来自正在积极建立智能体评估实践的组织（而非最大规模运营商）的观点。 注意：本次调查是在六月份从早前的“大语言模型可观测性与评估”调查重建而来；由于问题与样本不同，因此不与四至五月的数据进行对比。 发现一：通过评估不等于智能体可用 半数组织曾上线通过评估、却在客户面前失败的智能体 我们询问，在过去12个月内，组织是否曾部署过通过内部评估、但随后导致面向客户故障的智能体或大语言模型功能。在那些开展评估的组织中，有一半给出了肯定回答。 这是本报告的关键数字。半数组织（50%）曾上线一项通过内部评估、却在客户面前失败的人工智能功能——表现为错误输出、工作流中断或质量事故——四分之一的组织甚至经历过不止一次。仅有36%的组织报告未发生此类失败，其余组织要么根本不进行部署前评估（8%），要么未对根本原因进行足够细致的追踪（6%）。这种失败精准且代价高昂：评估表明智能体已准备就绪，而事实并非如此。后续的一切——企业如何信任其评估、他们监控什么、以及授予多大自主权——都深受这一经历的影响。 发现二：几乎没有人完全信任自动化评估 首要抱怨：评估结果与现实表现不符 我们询问，当前哪种限制因素最削弱对自动化智能体评估的信任。只有极少数企业完全没有抱怨。 对自动化评估的信任既稀缺又具体。仅有 5% 的组织表示完全信任当前的自动化评估——这意味着 95% 的组织指出了阻碍其信任的局限性。最常见的局限性（占比 29%）直接解释了发现 1：评估结果与现实世界表现严重脱节，导致本应通过的智能体后续却失败。其次是偏见或不一致性（21%）以及缺乏可解释性（18%）——企业往往无法判断评估结论的得出依据——另有 17% 的组织提及评估过程本身存在数据泄露或隐私问题。旨在为智能体提供认证的测试本身尚未获得信任，这正是发现 3 中自主性轨迹如此引人注目的原因。 发现 3：自主性上限正在提升 三分之二的组织已允许或正在构建零人工部署 我们询问各组织是否允许自主智能体仅依据自动化评估结果，在没有人工验证的情况下将代码或系统变更部署到生产环境。这一轨迹直接贯穿了信任缺口。 这正是报告的核心悖论。尽管几乎没有人完全信任自动化评估（发现 2），但三分之二的组织（66%）要么已经允许低风险智能体进行零人工干预部署（34%），要么正在积极构建相关流程以在一年内实现这一目标（33%）。仅有 22% 的组织在可预见的未来排除了这种可能性。方向明确无误：企业正朝着让评估自主控制生产部署的方向迈进——移除人工检查环节——而与此同时，他们却表示这些评估无法可靠地反映现实。自主性上限的提升速度超过了其底层保障能力，这正是发现 1 中虚假自信式失败将扩大而非缩小的机制所在。 值得注意的是，押注自主性并非只是小公司的现象。按公司规模对样本进行划分后，大型企业比小型企业在迈向零人工审核的道路上走得更远（70% 对 64%），并且更有可能出现过已通过评估但随后在客户那里失败的智能体（54% 对 48%）。在这个样本中，那种认为大型、受监管的组织会最长久地保留人工参与环节的假设，实际上是颠倒的。当然，这些只是方向性的数据，因为该调查的样本量并不大——来自员工超过 2500 人的公司有 57 位受访者，来自规模较小的公司则有 100 位受访者。 发现 4：评估栈碎片化，且由提供商主导 提供商原生评估领先——与完全没有专用工具的情况并列 我们询问了企业目前主要使用哪种智能体可靠性或评估平台。市场没有明确的领导者——而且有很大一部分企业根本没有使用专用工具。 评估层尚处于早期且未整合。提供商原生工具领先——OpenAI 的原生评估和追踪（17%）以及 Anthropic 的 Claude Console 评估（13%）加起来超过了任何独立平台——但它与一个引人注目的答案并列第一：17% 的企业根本没有使用任何专用的智能体评估工具，对于向客户交付智能体的组织来说，这是一个显著的缺口。专业的评估供应商——DeepEval（12%）、Braintrust（8%）、LangSmith、Weave、Promptfoo、Langfuse、Arize——各自的市场份额分散在个位数到较低的两位数之间，还有 11% 的企业自行构建了评估工具。目前还没有任何一个独立平台成为该领域的标准，这使得大多数企业要么使用提供商原生的工具，要么使用自研脚本，要么干脆什么都不用，来评估智能体。 发现 5：生产环境监控很少关注输出质量 只有四分之一的公司在实时流量上运行了实时质量检查 AI 智能体的生产环境监控可以关注两个截然不同的方面。它可以监控系统是否在正常运行——智能体是否在线并响应、每个请求是否完成、速度如何、成本多少、有无报错。或者，它也可以监控智能体的输出是否正确——通过自动化检查，在每条答案输出时评估其内容：智能体是否给出了正确答案、采取了正确行动、是否遵守了政策。这种区别之所以重要，是因为一个自信但错误的答案对第一种监控来说是不可见的：请求完成了，响应很快，没有抛出错误，所有运行指标都显示健康。我们询问了各组织，他们当前的生产环境监控是为哪种目的而构建的。 按实际监控的内容分组，差异十分明显：51% 的组织只监控智能体是否在运行，而 23% 的组织会监控其答案是否正确。将临时审查人员和不知道答案的组织计算在内，大约四分之三的组织在生产环境中没有对输出正确性进行任何自动化的实时评估——他们能看到系统在运行以及成本是多少，但答案的正确性则只能凭信任。这个盲区在运行时层面，对应了发现 1 中部署前的差距：那些将人类从部署决策中剔除的组织，大多无法实时看到已部署的智能体何时开始出错。 发现 6：因成本而购买，以一致性为衡量标准 价格和集成驱动选择；评估一致性是目标 我们询问了哪些因素最影响企业对评估供应商的选择，以及他们将什么视为成功的主要衡量标准。两个答案都很务实。 企业在采购评估工具时，决策依据是经济性，信任则建立在可重复性上。评估成本（28%）以微弱优势成为首要考量因素，略高于集成便捷性（27%）和评估准确性（24%）——可观测性广度（13%）和供应商路线图（4%）的重要性则低得多。在衡量成功标准方面，超过三分之一（36%）的企业将评估一致性列为首要目标——即每次对同一行为都能得到相同的判定结果——远高于实验速度（19%）、故障减少率（18%）、生产环境可见性（13%）和合规性（11%）。对一致性的强调很能说明问题：在企业信任评估结论之前，他们需要确保其稳定性——而恰恰是这种特性的缺失（偏差和不一致性）在发现2中被列为最主要的信任限制因素之一。当前企业对现有工具的满意度仅为中等水平，在总体满意度、实施便捷性和性价比三个维度上，五分制平均得分为3.8分。 发现7：下一笔资金将投向人工审核与可观测性 投资正流向监督环节，而不仅仅是自动化 我们询问了未来一年哪项可靠性与评估投资增长最快。资金正流向对智能体的更密切监控——包括引入人工参与。 第二大计划投资领域——仅次于生产环境可观测性——是人工审核工作流，占比达26%。对照发现1来看，这是本报告中最隐秘的矛盾：就在三分之二的企业正试图将人类从部署决策中剥离出去的同时，更多企业计划增加对人工审核员的投入（26%），而非用于替代他们的自动化评估流水线（16%）。零人工干预的发展路径与人工审核预算，正在同一批企业中同步增长。事实上，仅有8%的企业表示其相关预算没有增加。 综合来看，企业正在采取对冲策略：一方面朝着自主化方向建设，另一方面投入资金更密切地监控智能体，并保留人工介入能力，以应对自动化评估尚无法可靠处理的决策场景。 发现8：工具平台洗牌在即 近三分之二的企业计划在一年内采用或更换评估平台。 我们询问了企业是否计划采用新的、额外的或替代性的评估平台，以及它们正在考虑哪些平台。很少有企业打算维持现状。 评估市场空间广阔。虽然有36%的企业没有改变计划，但绝大多数（64%）打算在十二个月内采用新的、额外的或替代性平台，其中31%计划在下一个季度内完成。当前使用率最低的领域正是各企业正在评估的选项：Confident AI的DeepEval在企业正在评估的平台中领先（20%），其次是OpenAI的原生评估（13%）和Braintrust（9%）——这些开源专业平台吸引的兴趣超过了它们目前的市场份额。 考虑到目前如此多的企业依赖供应商原生工具或根本不使用任何工具（发现4），这与其说是用户流失，不如说是第一波真正的工具采用浪潮——评估层开始整合的时刻。在这个几乎还没有人信任自动化评估的市场中，哪些平台能赢得这份信任，是本系列将持续追踪的开放性问题。 结论：自主性将扩大而非缩小评估差距 拥有100名或以上员工的组织正在赋予AI智能体比它们所信任的评估所能支持的更大的独立性。半数组织已经部署过某个通过了评估却在客户面前失败的智能体；几乎没有任何组织完全信任自动化评估，主要原因是它无法匹配真实世界的结果；并且大多数组织监控生产环境是为了运行时间和成本，而非检查智能体的回答是否正确。然而，三分之二的组织已经允许或正在积极构建仅凭自动化评估就将智能体部署到生产环境的能力。 供应商市场尚处早期且格局未定：最常用的主要评估工具是供应商自带的评估方案，与完全没有专用工具的情况并列，而绝大多数企业计划在年内采用或更换平台。令人鼓舞的是，下一笔投入将流向可观测性以及——明确地——人工审核，这表明企业即便在通过工程手段绕过这一缺口时，也已意识到它的存在。单轮调查中157位受访者的数据仅能提供方向性参考，且样本偏向中型市场——但方向是明确的：自主权正基于评估结果被授予，而授予者自己却尚未信任这些评估。评估缺口并非仅靠增加测试就能弥补的覆盖范围问题，而是一个关乎评估能否反映现实、能否被信赖以作为把关依据的问题。后续轮次调查中悬而未决的问题是：保障措施能否追上自主权的步伐——还是说，因虚假自信导致的失败将从客户事故演变为自行部署的变更。 基于2026年6月单轮调查中157位合格企业受访者（员工数100人以上）的回复。此为方向性参考而非精确测量——样本为自愿参与，并非概率抽样，且偏向中型市场。受访者包括产品与项目管理人员、顾问与咨询师、工程/IT总监，以及首席信息官/首席技术官/首席信息安全官等职能角色，覆盖技术/软件、零售/消费品、医疗/生命科学、制造业及其他行业。