Anthropic 开放 Claude 真实使用数据供外部独立研究,公布试点结果

Anthropic:Research(发表成果 · 网页)·2026-08-27 01:30·2分钟前
AI 导读

Anthropic 今年春季启动试点,通过隐私保护工具 Anthropic Insights(原 Clio)向斯坦福大学 SALT Lab、牛津大学人类信息处理实验室及 METR 三个外部机构开放约 25 万段 2026 年 4-5 月的 Claude.ai 或 Claude Code 对话数据,供其独立设计研究并公开发布结果。

Anthropic:Research(发表成果 · 网页)
精选
69AI 编辑部评分,满分 100

Anthropic 开放 Claude 真实使用数据供外部独立研究,公布试点结果

2026-08-27 01:30· 2分钟前
AI 导读

Anthropic 今年春季启动试点,通过隐私保护工具 Anthropic Insights(原 Clio)向斯坦福大学 SALT Lab、牛津大学人类信息处理实验室及 METR 三个外部机构开放约 25 万段 2026 年 4-5 月的 Claude.ai 或 Claude Code 对话数据,供其独立设计研究并公开发布结果。

推荐理由

真实使用数据向外部研究者开放,使AI社会影响研究得以脱开厂商自述,基于独立设计的问题与可核验聚合结果,对评估产物实际影响更有参考价值。

正文 · AI 翻译
Enabling independent research on how people use Claude

今年早些时候,我们开展了一项试点项目,让外部研究人员能够访问聚合的、真实世界的 Claude 使用数据。三个研究团队利用 Anthropic Insights(我们的隐私保护分析工具)自行设计了研究方案;我们代表他们进行数据收集,而他们则开展独立的分析。在这篇文章中,我们分享了这些研究的高层结果,以及我们在运行这一试点项目中学到的经验。我们还为未来可能希望与我们合作的研究人员提供了一份意向表达表格。

确保向变革性 AI 的过渡顺利进行,需要理解其对人类和社会的影响。目前,关于 AI 真实世界交互的数据集中在少数几家实验室手中。我们认为,让更多数据广泛可用——面向研究人员、政策制定者和公众——将是一件好事。

实验室之外的研究人员有两个选择。他们可以利用实验室发布的分析结果,这些分析反映了真实使用情况,但往往回答的是实验室自身的问题,而非他们自己的问题。或者,他们可以使用公开数据集,这些数据可以按自己的意愿进行研究,但偏向于更随意的使用场景,可能无法反映大多数人实际使用 AI 的方式。对于就 AI 实际使用情况开展独立研究而言,这两种方式都不够充分。

今年春天,我们试点了一个项目,让三家外部研究机构通过 Anthropic Insights(原名为“Clio”)在 Claude 使用数据上设计并开展自己的研究。Anthropic Insights 是我们自家团队用来分析数百万次 Claude 对话使用模式的隐私保护工具。我们希望未来能扩大这一项目,因此我们还对所有与第三方研究人员共享的数据进行了额外的隐私审计,以验证我们的隐私保护措施依然有效(见附录)。

我们相信,这是外部研究人员首次基于 AI 公司自身的使用数据开展公开的独立研究。下面,我们将讨论外部团队发现了什么、我们在运行试点项目中学到了什么,以及我们在决定如何更广泛地扩展该项目时正在权衡的事项。我们还公开发布了每个项目的聚合数据。

研究人员发现了什么

我们与三个研究团队展开了合作:斯坦福大学的社会与语言技术(SALT)实验室、牛津大学的人类信息处理实验室,以及 METR——一家评估前沿 AI 模型的非营利组织。每个团队都自行制定了研究问题,并借助 Anthropic Insights 对 2026 年 4 月至 5 月期间约 25 万段 Claude.ai 或 Claude Code 对话进行了隐私保护分析。

我们希望外部合作伙伴尽可能保持独立,因此我们的合同审查权限仅限于用户隐私、可能帮助他人违反我们使用政策的信息、Anthropic 的机密信息以及研究准确性。除此之外,Anthropic 对研究结果的内容没有任何发言权,研究人员可以自由发表他们的成果,即使这些结果对 Anthropic 不利。以下是部分早期结果。我们对这些研究方向感到兴奋,也期待在数据公开后,其他人能发现更多有价值的内容。

社会与语言技术实验室研究了人类如何与 AI 协作。他们考察了人们会把哪些类型的工作交给 AI、人类在完成这些工作时保留了哪些角色,以及人机协作在哪些环节会出现问题。他们的发现如下:

  • 人们将高利害工作交给 AI 的比例超出预期。此前的研究认为,人们大多会把低问责性任务委托给 AI,而把影响重大的任务(即影响他人或难以挽回的工作)留给自己。但 SALT 实验室发现,超过一半的 Claude 对话中,人们将影响重大的任务委托给了 AI。人们最倾向于在寻求专业指导时把这类工作交给 Claude,尤其是在法律或财务问题上。
  • 在与 Claude 协作时,人们通常会主导并监督工作。在近四分之三的对话中,人们设定方向,Claude 提供协助,而且人们通常会调整其输出,而不是直接照搬。但即使在向 Claude 明确表达期望的输出时,人们对 Claude 所产出的内容的理解和吸收程度也各不相同。
  • 人们在与 AI 协作时常常会遇到摩擦。然而,这种摩擦往往是有益的。人们花时间和精力去观察 Claude 如何尝试完成一项任务,找出提示词中哪里表述不清或被误解,并反复调整自己的指示方向——这些投入最终会带来更好的结果——它促使人们澄清自己的意图、打磨输出,或持续深入思考问题。

点击此处阅读他们的完整报告。

人类信息处理实验室正在研究人们在使用 Claude 时的感受,以及这种感受与 Claude 行为之间的关联。他们的初步结果表明:

  • 人们在使用 AI 时的感受与 AI 的行为方式密切相关。研究人员发现,人类与 AI 的行为模式在对话中相伴出现:Claude 表现温暖时,人们往往更积极;Claude 拒绝或提出异议时,人们往往会反驳;Claude 表现古怪时,人们往往在智力上更加投入;而 Claude 单纯提供帮助时,人们往往显得满意。
  • 人们在使用 AI 时的体验与在互联网其他地方的体验非常相似。研究人员发现,Claude 对话中沉浸感、挫败感和愉悦感等状态之间的模式,与另一项关于日常互联网浏览的研究结果高度相似,这表明人们与 AI 互动的方式与其他数字活动之间存在相似性。

他们仍在完成研究报告。报告公开后,我们会在此处添加链接。

METR 正在评估编程智能体带来的实际生产力提升,以及这些生产力增长如何随模型代际变化。他们对 Claude Code 对话的分析仍在进行中,但初步结果表明:

  • 能力更强的模型可能为用户节省更多时间。METR 对比了 Claude 对任务在无 AI 情况下所需时长的估算,以及使用不同 Claude 模型时任务实际花费的时间。他们的初步发现表明,较新的模型相比旧模型带来了显著的加速效果。METR 计划随着分析的深入分享更多内容。
  • AI 能够相当准确地估算任务所需时间。由于该分析依赖于 Claude 判断一项任务需要多长时间,METR 将这些判断与此前一项开发者研究中的已知完成时间进行了对比。Claude 的估算与实际开发者所用时间具有相关性。
  • 下一步:衡量 AI 在多大程度上加速研究。METR 正在继续探究其研究如何揭示 AI 对研究人员工作提速的程度,随着 AI 越来越多地承担自身开发工作,这一点可能变得愈发重要。

他们仍在完成研究报告。待其公开发布后,我们会在本文添加相关链接。

我们团队的收获

在 AI 领域,共享使用数据在很大程度上是前所未有的,因此这项试点既是对此类项目运作方式的一次实验,也是一种以隐私保护方式支持第三方研究的途径。保护用户隐私和研究人员的独立性都至关重要,而这两点我们都做到了。Anthropic Insights 正是为此而设计——研究人员从未接触原始对话,只接触经过与我们内部工作相同的法律和隐私审查后的聚合输出。然而,所有这些都使得该试点相对于 AI 实验室通常的研究速度而言较为缓慢,且运行起来资源密集。这两个因素都对有效扩展该项目构成了挑战。关于我们如何运行这项试点的更多细节,请参阅附录。下文我们将讨论我们的收获以及如何应对出现的挑战。

从不同角度探讨同一问题是有价值的。我们部分合作伙伴的研究问题与内部正在推进的工作有所重叠。例如,METR 的提案与我们关于“智能体编码与专业技能的持续回报”的经济学研究类似。我们发现这种重叠很有价值:它让外部研究人员有机会审视类似数据并得出自己的结论。这些结论是否与我们的一致,我们将在他们的研究持续推进中持续关注。我们还让 METR 与我们的经济学团队建立了联系,并发现这种联系改善了两个研究团队的工作。

内部有效的研究方法需要调整才能适用于外部合作伙伴。在使用 Anthropic Insights 时,研究人员会写出诸如“此人正在寻求何种类型的指导?”这样的问题,Claude 会针对研究中的每一段对话给出回答。随后,这些回答会被汇总归类;研究人员只能看到最终的类别以及每个类别所占的对话百分比。由于我们依赖 Claude 的判断,该工具对问题的措辞十分敏感;措辞不当的问题可能会将对话归入不准确的类别。由于没有人能阅读底层对话,这些错误很难被发现。

在内部,我们通过在数周内反复迭代问题来管理这一风险。外部合作伙伴无法做到这一点,因为在共享每个数据集之前进行重复的隐私审查会使研究无法进行。取而代之的是,我们让合作伙伴在 WildChat(一个公开的人机对话数据集)上测试他们的问题,这样他们就可以将答案与底层对话进行核对。但 WildChat 的数据偏向休闲和创意用途,与 Claude 的流量特征不同,因此一些在 WildChat 上表现良好的问题,一旦应用到真实的 Claude 对话中,就会产生误导性的分类。我们通过提供关于如何解读 Anthropic Insights 输出的指导(见附录)来解决这一问题。展望未来,我们正在探索如何让外部研究人员更有效地提前设计他们的问题和类别。

在防范滥用的同时保持透明度。我们合作伙伴的 Anthropic Insights 输出中,某些类别涉及违反我们《可接受使用政策》或《服务条款》的行为——例如,有一类人群在寻求关于被禁止活动的指导。我们认为公众应当了解我们平台被滥用的情形,因此我们分享了大部分此类违规行为。例外情况是那些描述用户如何绕过我们安全防护措施(而非其试图实施的行为)的类别。每项研究中,受影响的类别和对话占比均低于 5%,并且在每种情况下,我们都告知了研究人员我们修改或删除了哪些聚类及其原因。作为标准做法,当 Anthropic Insights 发现此类违规行为时,我们会将汇总数据提交给我们的安全团队进行审查。这也是我们未来与外部研究人员合作的重要流程。

展望未来

理解 AI 对社会的影响,单靠 AI 公司自身是难以胜任的。真正的监督需要外部研究人员就真实世界的使用数据提出他们自己的问题,并独立发表他们的发现。

这项试点是一次实验:外部研究人员能否在不损害我们用户隐私的前提下,在我们的平台上开展独立研究?这项工作比我们预想的更具挑战性,我们也学到了很多经验教训,但到目前为止,答案似乎是肯定的。我们的合作伙伴开展了我们原本不会想到要自行设计的研究,并且每项研究都让我们对 AI 在现实世界中的影响有了新的认识。这是充满希望的第一步,但还有更多工作要做。

下一步,我们需要确定能否扩大这一项目的规模,既包括在上述约束条件下我们能支持哪些类型的研究,也包括我们能同时开展多少项研究。我们正在稳步推进,以确保隐私、安全和研究质量。我们希望了解研究人员的兴趣所在,以及他们想要研究什么课题。如果您是研究人员,并且访问 Anthropic Insights 能让您开展目前无法进行的工作,请填写此表格。

附录

完整附录可在此处查阅。其中介绍了我们开展该项目的具体方式,包括我们如何遴选三家合作伙伴、为解释项目目标及 Anthropic Insights 功能而撰写的研究入门指南,以及每个项目如何从提案推进到研究设计再到分析。附录还包含我们合作协议的细节,其中明确规定合作伙伴可以自由发布研究结果,即使这些结果对 Anthropic 不利。此外,我们还介绍了由伦敦帝国理工学院开展的第三方隐私审计,以及我们对所有已发布数据所遵循的隐私威胁模型。我们还提供了关于如何解读合作伙伴 Anthropic Insights 研究中所发布数据的指南。

贡献与致谢

Kunal Handa 主导了该项目,与合作伙伴共同完善其研究提案,起草了研究指南和合同,运行了合作伙伴的 Anthropic Insights 研究,帮助搭建了支持合作伙伴研究的技术基础设施,参与了 Anthropic Insights 成果的内部审查,并撰写了博客文章。Miranda Zhang 协调了合作伙伴关系和沟通工作,并为项目的所有部分做出了贡献。Gabriel Nicholas 协调了第三方隐私审计、Anthropic Insights 成果的内部审查,并为项目的所有部分做出了贡献。Miles McCain 撰写了关于解读 Anthropic Insights 成果的指南,开发了支持合作伙伴研究的技术基础设施,参与了 Anthropic Insights 成果的内部审查,并对博客文章和隐私威胁模型提供了反馈。Ryan Heller 为支持合作伙伴的研究贡献了技术基础设施。Saffron Huang 参与了 Anthropic Insights 成果的内部审查,并提供了关键反馈和讨论。Thomas Millar 和 Suzanne Wang 为支持合作伙伴的研究以及 Anthropic Insights 成果的内部审查贡献了技术基础设施。Shan Carter、Mo Julapalli、Matt Kearney、Sarah Pollack 和 Judy Shen 参与了 Anthropic Insights 成果的内部审查。Matthew Jagielski 为隐私威胁模型做出了贡献。Shaoyi Zhang 为支持合作伙伴的研究贡献了技术基础设施。Heather Whitney、Ankur Rathi、Aisling Keenan 和 David Saunders 在整个项目过程中提供了法律和隐私方面的指导。Jake Eaton 和 Sylvie Carr 为博客文章的框架构建和撰写做出了贡献。Jack Clark 和 Michael Stern 在整个过程中提供了宝贵的指导、支持和讨论。Deep Ganguli 在项目的所有阶段提供了详细的指导、组织支持和反馈。

此外,我们感谢 Miriam Chaum、Ishita Dasgupta、Esin Durmus、Adam Farina、Zoe Hitzig、Jerry Hong、Devin Kuokka、Hendson Lin、Maxim Massenkoff、Peter McCrory、Maryam Quasto、Nitarshan Rajkumar、Amie Rotherham、Divya Siddarth、Taylor Sorensen、Jerome Swannack、Alex Tamkin、Molly Villagra、Scott White 和 Charles Yang 提供的宝贵想法、讨论、反馈与支持。

感谢本项目中的合作伙伴:斯坦福大学社会与语言技术实验室的 Vishakh Padmakumar、Yijia Shao、Jennifer Wang、Diyi Yang 和 Dora Zhao,牛津大学人类信息处理实验室的 Tsvetomira Dumbalska、Hannah Rose Kirk 和 Christopher Summerfield,以及 METR 的 Joel Becker(现任职于 Anthropic)、Daniel Paleka 和 Parker Whitfill。

感谢执行第三方隐私审计的 Zexi Yao、Bozhidar Stevanoski、Peter Romov、Euodia Dodd、Xiaoxue Yang 和 Nataša Krčo。

引用

@online{handa2026enablingindependentresearch,
author = {Kunal Handa and Miranda Zhang and Gabriel Nicholas and Miles McCain and Ryan Heller and Saffron Huang and Thomas Millar and Suzanne Wang and Shan Carter and Mo Julapalli and Matt Kearney and Sarah Pollack and Judy Shen and Matthew Jagielski and Shaoyi Zhang and Heather Whitney and Ankur Rathi and Aisling Keenan and David Saunders and Jake Eaton and Sylvie Carr and Jack Clark and Michael Stern and Deep Ganguli},
title = {Enabling independent research on how people use Claude},
date = {2026-08-26},
year = {2026},
url = {www.anthropic.com/research/enabling-independent-research},
}

相关内容

Claude 如何加速蛋白质设计与分析化学研究

在这篇文章中,我们分享两项成果,展示 Claude 如何帮助生命科学研究者加快研究进度。

新兴多智能体系统中的模式与问题

在此,我们列举当前前沿模型中若干行为倾向的实例,展示它们如何引发意想不到的系统性故障,希望借此开启关于缓解这些风险的讨论。

审视关于劳动者再培训项目的证据

来源:Anthropic:Research(发表成果 · 网页)· anthropic.com