超越LLM:为何可扩展的企业AI采用取决于智能体逻辑

Hugging Face:Blog(RSS)·2026-06-01 21:51·89天前
AI 导读

可扩展的企业AI采用需超越大语言模型,依靠智能体逻辑来引导模型执行动态、长周期且受约束的企业工作流,从而提升质量、降低成本并建立信任。文中以IBM watsonx Code Assistant for Z为例,展示了智能体逻辑如何通过程序分析等技术,在理解大型遗留代码库时,相比纯LLM基线方法,能以约30倍更低的token消耗达到更优性能。在加速测试生成任务中,该方法亦能使代码覆盖度提升20%-45%,同时token消耗降低最高达15倍。

Hugging Face:Blog(RSS)
精选
60AI 编辑部评分,满分 100

超越LLM:为何可扩展的企业AI采用取决于智能体逻辑

2026-06-01 21:51· 89天前
AI 导读

可扩展的企业AI采用需超越大语言模型,依靠智能体逻辑来引导模型执行动态、长周期且受约束的企业工作流,从而提升质量、降低成本并建立信任。文中以IBM watsonx Code Assistant for Z为例,展示了智能体逻辑如何通过程序分析等技术,在理解大型遗留代码库时,相比纯LLM基线方法,能以约30倍更低的token消耗达到更优性能。在加速测试生成任务中,该方法亦能使代码覆盖度提升20%-45%,同时token消耗降低最高达15倍。

推荐理由

不是又一篇炒作 agent 的文章,IBM 拿真实项目数据说清楚了‘agent logic’怎么让大模型在企业落地时既降本又增效。

正文 · AI 翻译

指南在整个人类历史中一直帮助着人类。史前文明就明白,太阳和月亮可以用来在陆地和远洋上导航跨越遥远距离。随着时间的推移,各种旅程促进了地图的制作,以便更好地规划路线,并缩短重复目的地的旅行时间。几个世纪后,指南针的出现使航海者能够更精确地探索未知的目的地。而今天,GPS 导航应用指引着我们的每一次出行。在当今的智能体 AI 世界中,AI 智能体无疑具有实现可规模化 AI 应用的潜力,从而像我们所知的那样变革各行各业。然而,需要一个智能的指南——即智能体逻辑——通过提升智能体质量、成本效益以及随之而来的最终用户信任,来实现这一潜力。

企业工作流与用例

众多研究都指出 AI 试点项目的失败率极高,而其他研究也强调了 AI 需要运行在企业工作流的核心位置,才能实现可规模化的应用。[1] [2] 为了更好地理解这一现象及其相关的论断,需要对企业的这些工作流进行一些分析。这些工作流具有以下特点:

A. 动态且长期运行

B. 拥有大量的 API、数据库和服务

C. 常常受到业务策略和/或法规的约束

鉴于上述特点,要让一个智能体有效运作,自然就需要扩展的模型上下文,最先进的前沿大语言模型当然具备这一能力,但代价是什么?是模型幻觉的增加,还是 token 消耗的增大?此外,能否为大语言模型配备一个智能指南(即 GPS),使其能够在工作流的核心位置执行智能体 AI,从而带来更理想的结果?我们通过为 IBM 的产品设计和构建配备了相关智能体逻辑的智能体来验证这些假设,并充分考虑了上述特点。这些产品涉及领域专家所面临的一些最具挑战性的任务,这些专家负责关键任务工作负载的企业软件交付生命周期的各个阶段,包括:

  1. 理解用遗留代码(Cobol / PL/1)编写的应用程序
  2. 加速为开发者生成测试用例
  3. 主动响应事件并实现左移应用韧性
  4. 实现关键环境的合规现代化自动化

在详细审视上述每个领域之前,我们先定义智能体逻辑的特征。智能体逻辑是运行在智能体层(智能体框架内)的软件原语,例如知识图谱、算法、程序分析库,能够有意识地引导大语言模型朝着企业工作流的方向前进,从而缩小上下文空间。这样做能显著以更具成本效益的方式驱动更优的性能结果。现在,我们来考察智能体逻辑如何在上述四个领域中实现这样的结果。

  1. 理解用遗留代码(Cobol / PL/1)编写的应用程序——程序分析。[3]

IBM watsonx Code Assistant for Z(WCA4Z)用于借助 AI 和自动化加速大型机应用开发与现代化,它配备了一个用于应用理解的 App Insights 智能体——这是运行关键任务工作负载的 IBM 大型机企业客户的主要关注领域之一。该智能体利用对整个应用的深度静态分析,并将预索引表示存储在一个数据库模式中,该模式横跨数百个具有复杂语义的相互关联的表,使智能体能够检索精确、结构化的已有信息;从而提升答案准确性、减少 token 用量,并最小化与语言模型(本例中为 Mistral Medium 250B)之间的来回交互。当这种方法应用于多个关键任务遗留系统(最多 100 万行代码和 1000 个程序)时,其应用理解性能略优,而 token 消耗比仅使用前沿大语言模型的基线方法低约 30 倍。

  1. 借助 Aster 加速开发者的测试生成——程序分析。[4], [5]

Aster 是 IBM 专有的程序分析与数据前后处理库,用于基于智能体生成单元测试、集成测试、API 测试和变更测试;对多个开发者社区的分析表明,与各种开源工具或开发者编写的测试相比,它获得了更高的开发者评分。基于后者,以及在行覆盖率、分支覆盖率和方法覆盖率上优于类似开源工具(集成测试)以及零样本大语言模型和编码智能体(单元测试)的基准测试结果(所有测试均在开源应用上进行),我们已在 75 多个 Java IBM CIO 应用(最多 560 多个类和 67K 多行代码)上,使用 Devstral 24B 模型以预生产模式运行 Aster。迄今为止的稳态结果显示,行覆盖率、分支覆盖率和方法覆盖率提升了 20% 至 45%,同时在这些应用的一个子集上,与最先进的编码智能体相比性能更优,且 token 消耗量低数个数量级(最高达 15 倍)。这些结果的原因在于,程序分析输出(用于提示并“聚焦”大语言模型)与用于增强覆盖率和修复运行时及编译错误的子智能体相结合,能够以显著降低的成本实现更优的结果。

  1. 主动响应事件并实现左移应用弹性——基于知识图谱、程序分析库和调查(可观测性)的编排。[6],[7]

虽然第1点和第2点中描述的、与应用相关的LLM用例,其上下文被“限制”在应用源代码范围内,但对于已部署基础设施上应用的运行时管理而言,底层的完整IT技术栈就变得至关重要。在此,我们定义了一个知识图谱(KG),其中包含各类实体(微服务、数据库/中间件服务、MELT等),并结合了来自领域专家的内嵌(“部落”)知识。借助这样的图谱,并将LLM约束为针对非确定性结果进行局部有界推理,我们采用了一种可观测性驱动的方法,以缩减涵盖IT技术栈及底层应用源代码(如相关)的上下文空间,用于事件根因分析(及其他用例)。通过这种方法,利用等效的Instana数据模型,我们观察到专有的Instana“I3”(智能事件调查[8])智能体,在使用ITBench[9]进行评测时,其性能相比基于ReAct的智能体(搭配GPT-5.1)提升了高达4.0倍。当使用Gemini 3 Flash时,ReAct智能体的性能提升至仅比I3智能体低17%,但消耗的token数量多了1.6倍。我们已将这种方法扩展到源代码领域,用于代码分析(利用程序依赖图)和缺陷修复(利用推理扩展)的智能体,同样在ITBench上进行了测试,结果表明,用于代码分析和缺陷修复的智能体(Gemini 2.5 Flash)在定位有责微服务(3.0倍)和修复缺陷(1.6倍)方面,性能均优于最先进的编码智能体,同时消耗的token数量分别减少了3.7倍和5.9倍。这个多智能体系统已在IBM Think大会上作为新发布的、用于左移IT运维的IBM Concert平台的一部分对外公布,并且正在IBM CIO内部进行试点。[10]

  1. 实现关键环境IT合规现代化的自动化——算法与自适应规划及编排。[11]

企业面临着日益复杂且碎片化的合规要求,迫使团队花费大量时间手动创建控制措施、评估和修复计划。由于缺乏集中化的知识体系,修复方案也需手动编写,这带来了错误和安全漏洞的风险。由于合规工作复杂且涉及多个步骤,它需要跨专业智能体的、协调一致的策略驱动自动化,而非依靠人工努力或简单的 AI 提示词。我们的多智能体系统通过算法将复杂任务分解为协调的步骤,利用自适应规划、动态分解和工作流排序,并辅以持续反馈来迭代地识别修复方案并扩展评估范围,从而实现合规自动化。与使用固定规划策略的先前智能体(Claude 4 Sonnet)相比,其性能提升了 1.3 至 2.0 倍,该结果也通过 ITBench 进行了衡量。这种方法将合规转变为一种持续引导的自我修正过程,并显著改善了结果,尤其是在复杂场景中,将成功率从个位数提升至高达 +80%(Claude 4 Sonnet)。该多智能体系统以及超过 16,000 个数字化控制映射,作为 IBM Sovereign Core 的一部分在 IBM Think 大会上发布,集成了监控、漂移检测功能,并提供自动化证据生成,确保审计证据安全地保留在客户控制范围内。[12]

上述示例展示了智能体逻辑在减少大语言模型上下文、并以高性能和高性价比的方式引导大语言模型遍历工作流核心方面的影响。此外,我们还将类似方法应用于两个案例研究:一个是在医疗保健领域使用可配置的通才智能体与运行时(CUGA),另一个是与 IBM 全球房地产部门合作,针对物理资产进行基于状态的维护。

领域案例研究

案例研究 1:可配置通才智能体(CUGA)医疗保健基准测试——算法策略执行。[13]

以下健康保险客户服务示例,简明扼要地说明了为何在受监管环境中,智能体系统优于纯大语言模型对话系统。CUGA(可配置通用智能体)的策略系统实现了“策略即代码”的智能体治理机制,该机制在运行时强制执行,独立于模型提示词且无需微调。我们的实验表明,该智能体的策略系统显著缩小了任务正确性方面的差距,在所有模型家族(Claude Opus – 4.5、GPT OSS 120B 和 GPT – 4.1)上强制执行结构化工作流、安全意图处理、可靠工具使用以及受控输出格式,准确率提升幅度在 15% 至 26% 之间。权限通过最小权限披露、明确合规规则以及人工升级路径来强制执行。系统提出智能操作,而权限则由策略和监督机制行使。推理是自主的;决策权受到约束。CUGA 也是 IBM Think Sovereign Core 发布中的关键组成部分。

案例研究 2:IBM 全球房地产实物资产基于状态的维护——有向无环图。[14],[15]

企业维护系统收集了大量资产数据,但无法有效整合这些数据,需要专家手动拼凑零散信号,并在缺乏统一、基于证据的洞察的情况下做出决策。我们最近推出的 Maximo Condition Insights [16] 智能体,能够分析跨越数千个资产和地点(传感器、工单、故障模式与事件分析)的大规模资产数据,利用结构化证据和验证循环来可靠地识别问题、确定行动优先级,并以一致、可追溯的洞察支持决策。我们已在 IBM 全球房地产部门(GRE)内部试点该智能体(使用 GPT OSS 120B),将资产分析时间从 15-20 分钟缩短至 15-30 秒(效率提升 97%),并将资产审查覆盖率从约 1% 提升至约 30%,覆盖超过 120 个站点和 6000 项实物资产。使用 AssetOpsBench 基准测试,Condition Insights 智能体将无依据的断言减少了 57%,将冗余内容削减了 35%,将规则合规性提升了 30%,保持了近乎为零的矛盾率,并将模型 token 使用量平均降低了 77%,同时略微提升了诊断的特异性。该智能体配备了一个有向无环图,可提供结构化的工程和运营上下文,以减少在朴素提示词下产生的无依据推理;而约束感知的提示词则显著改善了规则遵循度,减少了冗余内容,并降低了整体模型 token 消耗,且未引入不稳定性。

总结与参考文献:几个世纪以来,我们一直受益于各类指南,它们简化并提升了我们的生活。随着技术的发展,我们所使用的指南也在不断演进,使我们能够做得更多,并进一步缩小我们的地球村。随着智能体 AI 时代的到来,当我们试图通过规模经济等方式进一步提升社会效益时,我们应延续这一趋势,充分利用智能体逻辑来简化模型上下文,并智能地遍历核心的企业工作流程;唯有如此,以最优运营成本实现可扩展的应用才真正可行。

[1] 生成式 AI 鸿沟:2025 年企业 AI 应用现状,MIT 研究报告,https://mlq.ai/media/quarterly_decks/v0.1_State_of_AI_in_Business_2025_Report.pdf

[2] 从 AI 项目到利润:智能体 AI 如何维持财务回报,IBM IBV 报告,https://www.ibm.com/thought-leadership/institute-business-value/en-us/report/agentic-ai-profits

[3] 了解,IBM Watson Code assistant for Z,2026 年 2 月 27 日,https://www.ibm.com/docs/en/watsonx/watsonx-code-assistant-4z/2.x?topic=understand

[4] R. Pan, R. Krishna, R. Pavuluri 等人,ASTER:利用大语言模型进行自然语言和多语言单元测试生成——IBM 研究,2025 年 4 月 30 日,https://research.ibm.com/blog/aster-llm-unit-testing

[5] R. Pan, R. Pavuluri, R. Huang 等人,SAINT:基于程序分析和基于大语言模型的智能体的服务级集成测试生成,2025 年 11 月 17 日,https://arxiv.org/abs/2511.13305

[6] S. Jha, R. Arora, Bhavya 等人,局部思考,全局解释:通过局部推理和置信传播进行图引导的大语言模型调查,2026 年 1 月 25 日,https://arxiv.org/abs/2601.17915

[7] S. Cui, R. Krishna, S. Jha 等人,用于云应用中代码相关事件根因分析的智能体结构化图遍历,2025 年 12 月 26 日,https://arxiv.org/html/2512.22113v1

[8] IBM Instana 和智能事件调查智能体:https://www.ibm.com/new/announcements/resolve-incidents-faster-with-ibm-instana-intelligent-incident-investigation-powered-by-agentic-ai

[9] S. Jha, R. Arora, Y. Watanabe 等人,ITBench:评估 AI 智能体在多样化真实世界 IT 自动化任务中的表现,2025 年 2 月 7 日,https://arxiv.org/abs/2502.05352

[11] Y. Watanabe, T. Yanagawa, H. Kitahara, A. Sailer,利用 GenAI CISO 评估智能体实现 IT 合规自动化,DZone 教程,2025 年 12 月 12 日,https://dzone.com/articles/itbench-part-3-it-compliance-automation-with-genai

[13] S. Shlomov, A. Oved, S. Marreed 等人,从基准到业务影响:在企业生产中部署 IBM 通用智能体,2025 年 12 月 9 日,https://arxiv.org/pdf/2510.23856

[14] D. Patel, S. Lin, J. Rayfield 等人,AssetOpsBench:针对工业资产运营与维护中任务自动化的 AI 智能体基准测试,2025 年 6 月 4 日,https://arxiv.org/abs/2506.03828

[15] Fearghal O'Donncha、Nianjun Zhou、Natalia Martinez 等人。基于异构数据的工业维护证据驱动推理 https://arxiv.org/abs/2603.08171

[16] IBM Maximo 与 Condition Insights 智能体:https://www.ibm.com/new/announcements/maximo-condition-insight

来源:Hugging Face:Blog(RSS)· huggingface.co