HuggingFace Daily Papers(社区热门论文)
精选
75AI 编辑部评分,满分 100

深度研究智能体易被误导性文档带偏:MisKnow-Agent 评测显示 FCAR 升至 54.7%

2026-07-23 08:00· 8天前
跳到正文
精选理由

这篇论文揭示了深度研究Agent的一个致命弱点——一条看起来靠谱的错误信息就能让一半的报告采信错误结论。做Agent产品的团队必读,尤其在依赖自动研究报告的场景里,这个风险不是理论而是实证。

AI 摘要

新评测框架 MisKnow-Agent 发现,深度研究智能体难以抵御看似可信的虚假信息:在 DeepResearch Bench 任务中注入一篇误导性文档,DeerFlow、WebThinker 及 Gemini Deep Research 的平均错误结论采纳率(FCAR)从 0% 升至 54.7%。

正文 · AI 翻译

深度研究智能体通过迭代式规划、检索证据并生成报告来执行长周期调查任务。然而,目前尚不清楚它们能否抵御工作流中被引入的、看似可信但事实上错误的信息。为了研究这一失效模式,我们提出了 MisKnow-Agent,一个受控评估框架,该框架构建任务特定的文档,以带有受控权威线索和来源风格的方式,支持经人工审计的虚假结论。将该框架应用于 DeepResearch Bench 的任务后,经过过滤共生成 5,933 份误导性文档。我们使用三种骨干大语言模型对 DeerFlow 和 WebThinker 进行评估,同时结合 Gemini Deep Research,采用报告级虚假结论采纳率(FCAR)作为指标,该指标仅统计明确支持虚假结论的报告。在所有配置中,仅引入一份误导性文档,就使平均 FCAR 从无注入对照组的 0% 上升至 54.7%。FCAR 随生命周期阶段和框架设计的不同而显著变化,也受来源权威性和呈现风格的影响,而搜索结果排名以及首份文档之外的额外文档影响有限。尽管跨模型验证始终将保留的实例归类为误导性内容,深度研究智能体在长周期研究过程中仍可能采纳相应的虚假结论。研究前和研究后的防御措施能够降低 FCAR,但无法完全消除采纳行为,这促使我们在证据进入中间研究状态和最终综合阶段时进行持续验证。为便于复现,我们的代码和数据集已分别公开于 https://github.com/whfeLingYu/MisKnow-Agent 和 https://huggingface.co/datasets/whfeLingYu/Misleading_Knowledge。

深度研究智能体易被误导性文档带偏:MisKnow-Agent 评测显示 FCAR 升至 54.7%

HuggingFace Daily Papers(社区热门论文)·2026-07-23 08:00·8天前
阅读原文· arxiv.org
精选理由

这篇论文揭示了深度研究Agent的一个致命弱点——一条看起来靠谱的错误信息就能让一半的报告采信错误结论。做Agent产品的团队必读,尤其在依赖自动研究报告的场景里,这个风险不是理论而是实证。

AI 摘要

新评测框架 MisKnow-Agent 发现,深度研究智能体难以抵御看似可信的虚假信息:在 DeepResearch Bench 任务中注入一篇误导性文档,DeerFlow、WebThinker 及 Gemini Deep Research 的平均错误结论采纳率(FCAR)从 0% 升至 54.7%。

正文 · AI 翻译

深度研究智能体通过迭代式规划、检索证据并生成报告来执行长周期调查任务。然而,目前尚不清楚它们能否抵御工作流中被引入的、看似可信但事实上错误的信息。为了研究这一失效模式,我们提出了 MisKnow-Agent,一个受控评估框架,该框架构建任务特定的文档,以带有受控权威线索和来源风格的方式,支持经人工审计的虚假结论。将该框架应用于 DeepResearch Bench 的任务后,经过过滤共生成 5,933 份误导性文档。我们使用三种骨干大语言模型对 DeerFlow 和 WebThinker 进行评估,同时结合 Gemini Deep Research,采用报告级虚假结论采纳率(FCAR)作为指标,该指标仅统计明确支持虚假结论的报告。在所有配置中,仅引入一份误导性文档,就使平均 FCAR 从无注入对照组的 0% 上升至 54.7%。FCAR 随生命周期阶段和框架设计的不同而显著变化,也受来源权威性和呈现风格的影响,而搜索结果排名以及首份文档之外的额外文档影响有限。尽管跨模型验证始终将保留的实例归类为误导性内容,深度研究智能体在长周期研究过程中仍可能采纳相应的虚假结论。研究前和研究后的防御措施能够降低 FCAR,但无法完全消除采纳行为,这促使我们在证据进入中间研究状态和最终综合阶段时进行持续验证。为便于复现,我们的代码和数据集已分别公开于 https://github.com/whfeLingYu/MisKnow-Agent 和 https://huggingface.co/datasets/whfeLingYu/Misleading_Knowledge。

阅读原文arxiv.org