我们的数据显示,大量行为规范的机器人流量正在重复抓取未发生变化的页面。请求量高达数十亿次。海量的机器算力被消耗,却完全没有产生任何结果。这正是为人类构建的网页被其他访客访问时的典型特征。
智能体已经到来——它不是一种新型软件,而是一种新型的网页访客。
围绕这种新访客重塑后的网络,就是我们所说的“智能体互联网”。我们预见它的未来具备可读、可发现、可调用、可付费四大特性。要实现这一未来,它需要自己的工具和协议。
Cloudflare 的开发者平台为智能体提供了运行场所,以及构建它们的第一批工具。目前缺失的,是那些能让智能体与域名所有者相互协作而非相互冲突的工具——并且是在开放的互联网上,而不只是在单一平台内部。
每个浏览器向来都会通过一个名为 User-Agent 的请求头向网络表明自己的身份。只有当你意识到浏览器是在代表你行事时,这个名字才真正说得通。如今,用户代理(user agent)真正成了用户的智能体:一个代表个人去抓取网页的程序。目前它最成熟的形态是编码智能体——能读写代码、自行拉取所需文档,却永远不会真正“看到”它所读取的页面。
智能体不会渲染你的 CSS、不会看到你的主视觉横幅,也不会点击你的广告。但它的另一端连接着一个付费的人类用户。现在每一次请求都意味着有人要花钱,并且带有明确目的。屏蔽它,你就屏蔽了自己的客户。把它当成普通爬虫对待,你就会失去这些客户。
每个智能体的运行,都是因为有人——无论是个人还是企业——在为它的行为付费。大多数人不会无缘无故地消耗 token。这个版本的互联网,每一次请求的另一端都对应着一个结果和一张账单,它将与我们现在所熟悉的互联网截然不同。
互联网并非为此而建,你的分析工具同样如此。在大多数情况下,你的商业模式也不是为此而设。智能体如何阅读、发现、调用和支付,将决定互联网是保持开放还是走向封闭。在未来的某一种版本中,少数几个技术栈掌控着发现、身份和支付,其他所有人都只能经由它们流转。而在另一种版本中,互联网保持开放:建立在任何人都能实现的标准之上的基础组件,运行在因代码公开而保持中立的轨道之上。
Cloudflare 相信开放的互联网,而我们也有能力帮助构建一个让开放互联网蓬勃发展的未来。

我们所依赖的规范是任何人都能实现的开放标准——x402、MCP、Web Bot Auth、PACT。域名所有者自行选择身份提供商、支付处理商和智能体合作伙伴。Cloudflare 只是其中一个选项,而非整个技术栈。我们是客户所使用的同一条轨道上的“零号客户”,没有任何特权路径或只有我们才能访问的早期 API。这是我们在过去十五年间为人类互联网所做的工作,也是我们打算为智能体互联网继续做的工作。
工程细节并不是智能体互联网上的人类用户会注意到的。他们正在接触一种新的媒介,会像当初评价互联网那样来评价它:看它是否更好。看预订一张餐桌是从九次交互变成一次交互,看他们是否清楚自己在和谁打交道,看支付是否让人感到安全。
我们的理念是:一个可阅读、可发现、可调用、可支付的智能体互联网。
这一切始于身份。Web Bot Auth 让机器人能够以密码学方式向它所访问的任何网站证明自己的身份,这样发布者就能决定欢迎谁、不欢迎谁。不再需要猜测,也不再存在伪造的用户代理。许多网站已经能通过登录、应用内行为或购买历史来识别请求背后的人类用户。这些网站可以签发私有访问控制令牌(PACT)。PACT 由 Mozilla、Google、Microsoft 和 Shopify 联合发布,它让网站能够以匿名方式为访问者背书,使智能体可以在其他地方出示该令牌。合法智能体因此能以更低的摩擦获得访问权限。
接下来,我们可以让智能体更容易地完成它的工作。Markdown for Agents 让智能体以更少的 token 和更低的带宽读取网站内容。WebMCP 为智能体提供了一种以你的名义进行交互的原生方式。x402 等标准则让智能体可以直接向商家付款。
“可读”这一点很直接。AI 智能体能否以对它们而言更原生、更能发挥其优势的方式读取内容?智能体消耗的带宽和 token 越少越好。每一个为人类渲染、却永远不会被人类看到的 HTML 标签,不仅浪费算力,还会污染智能体的上下文窗口——而智能体还得为此付出代价去忽略这些内容。Markdown for Agents 正是从服务端解决这个问题。
在客户端,我们以“智能体为一等公民”的思路来构建浏览器。Kitesurf 是我们推出的新浏览器,它足够轻量,可以运行在 Workers 上,按请求即时创建、用后即弃。它提供智能体所需的内容和功能,同时摒弃了传统浏览器中面向人类用户的各种臃肿特性。
“可发现”是智能体互联网上每一个经济时刻的起点。在智能体读取资源、调用工具或为交易付费之前,它必须先知道该资源的存在。搜索只是故事的一半——智能体需要通过为它们构建的界面来找到所需内容,而不是通过一个为打字慢、喜欢扫读的人类设计的搜索框。AI Search 现已上线,任何公开网站都可以让智能体进行搜索。
被发现是另一面。内容创作者和 API 所有者需要知道他们在智能体面前有多高的可见度。智能体引擎优化(AEO)衡量品牌在相关模型和智能体中的可见度。如果你在客户所使用的智能体面前没有可衡量的可见度,那么对他们来说,你实际上就等于离线了。
“可调用”是智能体开始做事的地方:订餐、续订订阅、拉取报告。在人类网络上,这些操作看起来各不相同,因为它们是为人类点击界面而构建的。一个试图向待办列表添加项目的智能体,必须解析 HTML,猜测哪个按钮是“添加”,合成一次点击,并希望 DOM 自上次查看以来没有变化。
WebMCP 让网站能够通过浏览器直接向智能体暴露其操作:
document.modelContext.registerTool({
name: "add-todo",
description: "Add a new item to the user's active todo list",
inputSchema: {
type: "object",
properties: {
text: { type: "string", description: "The todo item text" }
},
required: ["text"]
},
async execute({ text }) {
await addTodoItemToCollection(text);
return { content: [{ type: "text", text: `Added: "${text}"` }] };
}
}); 工具的“契约”变得明确。无需解析 HTML,无需猜测表单字段。由于工具在页面内运行,它们会复用用户现有的会话和状态。代码模式更进一步。智能体用代码思考,通过编写代码来调用工具比用自然语言更快、更准确。由于智能体在调用端点而非抓取网页,内容所有者就能收到清晰的信号,了解哪些内容实际上在被使用。
“可支付”是我们认为智能体互联网的发展方向。每一笔经济交易最终都需要一种支付方式。基于广告的模式正在瓦解。当用户是一个程序时,按席位计费的模式行不通。我们所依赖的出版商无法靠永远不会发生的页面浏览量和不会渲染其广告的浏览器来维持自身运营。
一个靠广告从未盈利的食谱网站,可以按每次抓取收取不到一分钱的费用,并在智能体互联网的规模下实现盈利。一家本地报纸可以在阅读时按篇授权文章,无需授权协议或登录。在另一边,智能体带着人类一次性设置好的钱包和预算出现。
每一次付费交互都会留下收据。出版商可以证明哪个智能体抓取了哪个页面。智能体可以证明它为自己使用的内容付了费。钱包让智能体能够轻松地为内容和 API 付费。Monetization Gateway 让域名所有者只需几次点击即可设置来自智能体的支付。
Cloudflare 之所以处于这一切的中心,是设计使然。我们已经置身于数十亿人类与他们所访问的网站之间,保护他们、加速访问、确保其在线可用。智能体会改变流量形态,但不会改变我们这项工作的本质——我们是一个中立、高性能的中间层,让内容发布方、商家、智能体构建者和终端用户都能信赖我们站在他们一边,而不是与他们竞争。
我们希望为域名所有者提供工具,让他们能够支持自己愿意支持的AI智能体,并阻止那些不愿支持的智能体。开发者工具类产品可能希望做好迎接智能体的准备,以鼓励AI智能体去发现、推荐并为其付费。内容发布方可能希望屏蔽那些“提取型”AI智能体(它们消耗资源却不给任何回报),同时允许那些获得内容授权或提供补偿的AI智能体访问。非营利数据提供商可能希望屏蔽超出其速率限制的机器人或人类用户,但允许他们付费解除限制,并用这笔收入来覆盖超额的资源消耗。
机器人已死,机器人万岁
机器人与人类之间的界限已经不再那么简单。事情不再是非黑即白——机器人就是坏的、人类就是好的,或者机器人浪费了本该由人类消耗的资源。在智能体的世界里,这种旧思维已经过时了。
我们将智能体视为一种新型参与者。它们的行为可能是可取的,例如以节省资源的方式阅读内容、按照域名所有者规定的方式与网站交互,并为它们所使用的资源付费。它们的行为也可能是不可取的,例如在没有任何补偿的情况下抓取数百万个页面、试图绕过封锁,或无视 robots.txt。我们相信,如果人类和机器人都被赋予合适的工具,许多不可取的行为将会减少,甚至转化为可取的行为。
弥合收入缺口
Cloudflare 多年来一直在检测机器人,让域名所有者能够控制机器人是否可以访问他们的网站。但一直缺失的是另一半:当智能体被允许进入后,它们如何与这些网站互动。这正是这套智能体工具套件的用途:让网络变得可读、可发现、可调用、可支付。这四个基础能力都构建在开放标准之上,因此没有任何单一公司拥有这些轨道。
开放的智能体互联网需要双方都具备多样性。不仅要有多样化的发布者和内容创作者,还要有多样化的智能体。如果需求端趋同,那么供应端再开放也无济于事。互联网仍然会是一座围墙花园。
我们正在构建这个开放替代方案。加入我们,通过我们的新仪表板让你的网站为智能体做好准备,并注册以接收我们答案引擎优化产品的新闻。如果你运营网站或智能体,你可以使用我们的 AI Playground 体验互联网的所有新技术。