构建开放的智能体式互联网:可读、可发现、可调用、可支付

Jack GalileeWill PapperAndrew Galloni

阅读时间:8 分钟

本文另有 EnglishDeutschEspañolEspañol (Latinoamérica)FrançaisItaliano日本語한국어繁體中文.

我们的数据显示,许多来自行为良好的机器人的流量用于 重新获取未更改的页面。达到数十亿次请求。耗费海量算力却一无所获。这表明目前的 Web 生态是专为人类服务的。

智能体已经到来——不是作为一种新的软件,而是作为一种新的 Web 访客。

围绕这种新访客重塑的 Web 就是所说的智能体式互联网(Agentic Internet)。我们认为它的未来是可读、可发现、可调用和可支付的。要实现这一未来,它需要拥有其自己的工具和协议。

Cloudflare 的开发者平台为智能体提供了运行空间,以及用于构建它们的首批工具。缺失的是让智能体和网站所有者在开放互联网(而非仅在单一平台上)合作而不是相互冲突的解决方案。

每个浏览器总是通过一个称为 User-Agent(用户代理)的标头向 Web 识别自身身份。只有在您意识到浏览器是在代表您行动时,这个名字才有意义。现在用户代理真正成为了用户的代理:一个代表人类用户获取 Web 内容的程序。如今,其最成熟的形式是编码智能体,它读取和编写代码,提取所需文档,而从不查看所读取的页面。

智能体不会渲染您的 CSS,也不会看到您的主视觉图,更不会点击您的广告。但另一端有一个付费的人类用户。每个请求现在都需要有人付费,并承载着特定目的。阻止它,就是阻止您的客户。将其视为爬虫,您就会失去客户。

每个智能体之所以运行,是因为有人——个人或企业——在为其所做之事付费。大多数人都不会无端端地消耗 token。这一新的互联网形态中,每个请求背后都有结果和账单,完全不同于我们今天所用的互联网。

Web 并非为此而建,您的分析工具也不是。而且,在大多数情况下,您的商业模式也不是。智能体如何读取、发现、调用并付费,将决定互联网保持开放,还是走向关闭。在未来的一个版本中,少数技术栈将拥有发现、身份与支付能力,其他所有技术栈都要通过它们来路由。在另一种版本中,互联网保持开放:基于任何人都可以实现的标准构建的原语,在一个中立基座上运行,因为代码都是公开的。

Cloudflare 相信开放的互联网,而且所处的位置能够帮助构建一个互联网蓬勃发展的未来。

阴影部分是机器人重新抓取自上次爬取以来未发生变化的内容。网站所有者提供服务以及智能体发出请求所付出的成本,两者均没有实际收获。
阴影部分是机器人重新抓取自上次爬取以来未发生变化的内容。网站所有者提供服务以及智能体发出请求所付出的成本,两者均没有实际收获。

我们构建的规范是任何人都可以实现的开放标准——x402、MCP、Web Bot Auth、PACT。网站所有者可以选择自己的身份提供者、支付处理者和智能体合作伙伴。Cloudflare 是一个选择,而不是整个技术栈。我们就是客户所用基座的零号客户,不存在仅供我方访问的特权通道或抢先体验 API。这是我们过去十五年来为人类 Web 所做的工作,我们也打算为智能体互联网做同样的工作。。

在智能体式互联网上,人类不会注意到这种工程层面的实现。他们正在接触一种全新媒介,并会沿用过去评判 Web 的标准来审视它:判断其是否能够带来更好的体验。查找并预订餐桌是否只需一轮交互,而非九轮。他们是否知道与谁打交道。支付是否让他们感到安全。

我们的理念:一个可读、可发现、可调用、可支付的智能体式互联网

这一切从身份开始。 Web Bot Auth 让机器人能够向其访问的任何网站进行加密身份识别,以便内容发布者可以决定允许还是拒绝访问。无需再猜测,也不必再担心假冒的用户代理或智能体。许多站点已经能够通过登录、应用内行为或购买记录,识别出请求背后的人类用户。该站点可以颁发 私有访问控制令牌  (PACT)。PACT 由 Mozilla、Google、Microsoft 和 Shopify 联合推出,允许网站匿名担保,以便智能体可在其他地方展示该令牌。合法的智能体能以更少阻力进入其他网站。

我们可以让智能体更轻松地完成工作。 Markdown for Agents 使智能体以用更少的 token 和带宽阅读网站。 WebMCP 为它们提供了一种代表您进行互动的原生方式。类似 x402 的标准使它们能否直接向商家完成支付。

可读是一个直接明了的特性。AI 智能体是否能够以原生且发挥其优势的方式来阅读内容?智能体消耗的带宽和 token 越少,就越好。为人而渲染的每个 HTML 标签,如果无人查看,不仅浪费了计算资源,还污染了智能体的上下文窗口,并需要消耗 token 才能忽略。 Markdown for Agents 从服务器端解决了这个问题。

在客户端层面,我们在构建浏览器时将智能体视作一等公民。 Kitesurf  是我们推出的全新浏览器,足够轻量化,可运行于 Workers 之上,每次请求都会新建实例,并在请求结束后销毁。它提供智能体所需的内容和功能,同时剔除传统浏览器中以人类为中心的特征造成的多余信息。

可发现是智能体式互联网中每个经济活动的起点。在读取资源、调用工具或进行支付以完成交易之前,智能体必须知道资源的存在。搜索只是问题的一半,因为智能体需要通过为它们设计的界面找到所需的信息,而非依靠为打字速度慢、习惯快速浏览内容的人类用户设计的关键词输入框。  AI Search 今日使用,让任何公共站点均支持智能体进行检索。

被发现是另一个组成部分。内容创作者和 API 拥有者需要了解他们对智能体的可见性有多高。 Agent Engine Optimization (AEO) 衡量品牌对相关模型和智能体中的可见性。如果您无法对客户使用的智能体明显可见,那么您对他们而言就相当于不存在。 

可调用是智能体开始执行操作的地方:预订餐桌、续订订阅、提取报告。在面向人类的 Web 中,这些操作看起来都不一样,因为它们是为人类通过用户界面点击而设计的。某个智能体试图将项目添加到待办事项列表中时,必须解析 HTML,猜测哪个按钮是“添加”,模拟点击,并希望自上次查看以来 DOM 没有改变。

WebMCP 允许站点通过浏览器直接向智能体暴露自身可执行操作:

document.modelContext.registerTool({
  name: "add-todo",
  description: "Add a new item to the user's active todo list",
  inputSchema: {
    type: "object",
    properties: {
      text: { type: "string", description: "The todo item text" }
    },
    required: ["text"]
  },
  async execute({ text }) {
    await addTodoItemToCollection(text);
    return { content: [{ type: "text", text: `Added: "${text}"` }] };
  }
});

 “合同”工具变得显式可用。无需进行 HTML 解析,也无需猜测表单字段。由于工具在页面内运行,它们可重用用户的现有会话和状态。 Code Mode 更进了一步。智能体使用代码思考,通过编写代码调用工具比用语言描述更快速、更准确。由于智能体调用端点而不是抓取网页,内容所有者可以清楚地了解实际上哪些内容被使用。 

可支付是我们相信智能体式互联网将发展的方向。每笔经济交易最终都需要一种支付方式。基于广告的模式正在失效。当用户是程序时,基于席位的模式将不再适用。我们依赖的内容发布者无法通过从未发生的页面浏览量和未展示广告的浏览器来获得运营所需的资金。 

一个始终未利用广告盈利的食谱网站,即使每次调取仅收取零点几美分的费用,在智能体式互联网规模效应下也能够实现盈利。一家本地媒体可以在读者阅读时按需授权文章,无需事先签署许可协议或登录账户。另一方面是智能体,它们拥有钱包和一次性设定的预算。 

每一次付费的互动都会留下凭证。内容发布者可以证明哪个智能体获取了哪个页面。智能体可以证明其为使用的内容而支付了费用。 Wallets 使智能体能够轻松为内容和 API 支付费用。 Monetization Gateway 让网站所有者可以通过几次点击设置智能体支付。

Cloudflare 原生处于以上这一切的核心。我们已经置身于数十亿人和他们访问的网站之间:保护、加速并让它们保持在线。智能体改变了流量,但不会改变任务的本质——我们是一个中立、高性能的层,内容发布者、商家、智能体开发者和终端用户均信任我们为其提供支持,而不是与他们竞争。 

我们希望为网站所有者提供工具,为他们希望支持的 AI 智能体赋能,并阻止他们不想支持的智能体。某个开发者工具可能希望达到 智能体就绪(agent-ready)状态,以鼓励 AI 智能体发现、推荐并为其付费。内容发布者可以选择拦截掠夺式 AI 智能体(即消费资源却不提供任何回报),但允许那些获取内容许可或向您支付补偿的 AI 智能体访问。非营利性数据提供商可能希望阻止超过速率限制的机器人或人类,但允许他们付费以解除阻止,并使用这些收入来支付超额的资源消费。

传统机器人时代落幕,智能体时代来临

 区分机器人和人类已经不再那么简单。不能简单地说人类好而机器人坏,即机器人浪费了本应由人类消费的资源。这是一种旧思维模式,在智能体时代已经过时。

我们将智能体视为一种新型参与者。这类智能体的行为可以是有益的,例如以节约资源的方式读取内容、按照网站所有者指定的规则与网站进行交互,并为所使用的资源支付费用。其行为也可能是不受欢迎的,例如,抓取数百万页面的内容而不提供补偿,试图绕过拦截,或忽略 robots.txt。我们相信,如果向人类和机器人提供适当的工具,许多不良行为将会减少,甚至转变为有益的行为。

填补收入缺口

Cloudflare 多年来一直进行机器人检测,让网站所有者能够自主控制机器人是否可以访问其资源。缺失的是另一半:智能体进入这些网站后如何进行交互。这套智能体工具组合的用途正是如此:让网络变得可读、可发现、可调用、可支付。这四个原语全部基于开放标准构建,因而没有任何一家公司能够掌控其基座。 

开放的智能体式互联网需要在供需两侧都具备多样性。不仅需要多样的发布者和内容创作者,也需要多样的智能体。如果需求侧趋同,供应侧开放与否就会变得无关紧要。互联网仍将沦为封闭的花园。

我们正在构建这一开放的互联网。欢迎加入我们,利用我们的新仪表板使您的站点 达到智能体就绪状态,并注册以获取关于我们回答引擎优化(Answer Engine Optimization)产品的最新消息。如果您运营网站或智能体,可以利用我们的 AI Playground 体验所有互联网新技术。