打造開放的智慧體網際網路:可讀、可發現、可呼叫、可付費

Jack GalileeWill PapperAndrew Galloni

閱讀時間:9 分鐘

這篇文章亦提供 EnglishDeutschEspañolEspañol (Latinoamérica)FrançaisItaliano日本語한국어简体中文.

我們的數據顯示,大量來自良性機器人的流量,正在重複擷取內容未曾變動的頁面。這涉及數十億次的請求。消耗了巨大的機器算力,卻沒有產生任何實際結果。這就是一個為人類打造的網路,被其他事物造訪時的典型特徵。

智慧體時代已經來臨——它們不僅是某種新型軟體,更是網路的一種新型訪客。

圍繞這種新型訪客而重塑的網路,我們稱之為「智慧體網際網路」。我們認為它的未來應該具備四個面向:可讀、可探索、可呼叫、可付費。要實現這個未來,它需要自己的工具與通訊協定。

Cloudflare 的開發人員平台為智慧體提供了執行的場所,以及打造它們的初步工具。但欠缺的,是那些能讓智慧體與網域擁有者合作而非衝突的工具——而且是在開放的網際網路上,而非僅限於單一平台內部。

一直以來,每個瀏覽器都會透過一個名為 User-Agent 的標頭向網路表明身分。只有當您意識到瀏覽器是在代表您行事時,這個名稱才具有實際意義。如今,User Agent 真正成為了「使用者的智慧體」:一個代表個人擷取網頁內容的程式。目前,其最成熟的形式是「編碼智慧體」:它們負責讀寫程式碼、取得所需文件,卻從不「觀看」那些被讀取的頁面。

智慧體既不會轉譯您的 CSS,也不會瀏覽您的首屏大圖或點擊廣告。但背後,卻有著願意付費的人類使用者。如今,每一次請求都伴隨著成本支出與明確目的。封鎖它,就等於封鎖了您的客戶;把它當成一般的爬蟲處理,您就會失去這些客戶。

每個智慧體的運作,都是因為有人(無論是個人或企業)在為其所做的事付費。大多數人不會毫無理由地花費詞元 (token)。在這個全新的網際網路版本中,每個請求的背後都有明確結果和相應賬單,它將與我們現在所知的網際網路截然不同。

網路並非為此而生,您的分析工具也不是。在多數情況下,您的商業模式亦然。智慧體如何「讀取」、「發現」、「呼叫」與「付費」,將決定網際網路是維持開放,還是走向封閉。未來的其中一種樣貌,是少數幾個巨頭壟斷發現、身分識別與支付,其他人只能透過它們路由。另一種樣貌,則是網際網路維持開放:以公開標準為基礎打造基本元件,任何人都能實作,而這些元件執行的軌道之所以中立,是因為程式碼都是公開的。

Cloudflare 相信開放的網際網路,而我們也有能力協助打造一個讓開放網路蓬勃發展的未來。

陰影部分代表機器人重新抓取自上次抓取以來未發生變化的內容。這是網域擁有者為了提供服務所付出的機器成本,也是智慧體為了執行請求所付出的成本,但對雙方而言均無實際產出。
陰影部分代表機器人重新抓取自上次抓取以來未發生變化的內容。這是網域擁有者為了提供服務所付出的機器成本,也是智慧體為了執行請求所付出的成本,但對雙方而言均無實際產出。

我們基於人人都能實作的開放標準進行建置:x402、MCP、Web Bot Auth、PACT。網域擁有者可以自行選擇其身分識別提供者、自己的支付處理商、自己的智慧體合作夥伴。Cloudflare 只是眾多選項之一,而非壟斷整個技術堆疊。我們自己是這些機制的「零號客戶」,與客戶採用相同的軌道,沒有特權路徑,也沒有只有我們才能使用的搶先體驗 API。這是我們十五年來為人類網路所做的工作,也是我們打算為智慧體網際網路所做的工作。

對於智慧體網際網路中的人類使用者而言,工程技術本身並不是他們會注意到的事。他們正在迎接一種新的媒介,而他們評判它的方式,會與當年評判網路的方式相同:看它是否變得更好。例如,訂個餐廳座位,是一次對話就搞定,還是要來回九次?他們是否知道自己在和誰打交道?付款時是否感覺安全可靠?

我們的理念:一個可讀、可發現、可呼叫、可付費的智慧體網際網路

這一切從身分開始。Web Bot Auth 讓機器人能以加密方式向它造訪的任何網站表明身分,讓發布者決定接納哪些智慧體、拒絕哪些智慧體。不再需要猜測,也不再有偽造的 User-Agent。許多網站早已透過登入、應用程式內行為或購買歷程記錄,知道請求背後的人類是誰。這些網站可以發行「私有存取控制權杖」(PACT)。PACT 是我們聯合 Mozilla、Google、Microsoft 和 Shopify 共同推出的標準,它讓網站能以匿名方式為智慧體擔保,讓智慧體可以在其他網站出示權杖,從而讓合法的智慧體更順暢地獲得存取權限。

接下來,我們可以讓智慧體能更輕鬆地完成它的任務。Markdown for Agents 讓智慧體能用更少的詞元消耗和頻寬來讀取網站內容。WebMCP 為它們提供了一種原生的方式,代表使用者與網站互動。而像 x402 這樣的標準,則讓它們可以直接向商家付款。

可讀這個面向很直白。AI 智慧體能否以一種對它們而言更原生、更能發揮其優勢的方式來讀取內容?智慧體消耗的頻寬和詞元越少越好。每一個為了人類而渲染、卻從來不會被看到的 HTML 標籤,不僅浪費了運算資源,更污染了智慧體的上下文視窗——而它們還得花費詞元去忽略這些內容。Markdown for Agents 正是從伺服器端來解決這個問題。

在用戶端,我們在打造瀏覽器時,將智慧體視為一等公民。Kitesurf 是我們全新打造的瀏覽器,輕量到可以在 Workers 上執行,每個請求建立一次執行個體,用完即丟。它提供智慧體所需的內容和功能,完全沒有傳統瀏覽器中那些為人類設計的臃腫功能。

可發現是智慧體網際網路上每一個經濟行為的起點。在智慧體讀取資源、呼叫工具或為交易付款之前,它必須先知道該資源的存在。搜尋是其中一半的課題——智慧體需要透過專為它們打造的介面來尋找所需內容,而不是透過一個為「打字慢且只會瀏覽」的人類所設計的關鍵字框。AI Search 目前已上線,任何公開網站都可將其內容開放給智慧體搜尋。

被發現則是另一半。內容創作者和 API 擁有者需要了解自己在智慧體眼中的可見度。Agent Engine Optimization (AEO) 能衡量品牌在相關模型和智慧體中的可見度。如果客戶使用的智慧體無法「看見」並識別您的品牌,那麼對他們而言,您實質上等同於離線。 

可呼叫是智慧體開始動手做事的階段:訂位、續訂會員、產生報表。在人類網路上,這些動作的樣貌各不相同,因為它們是為了讓人類透過點擊使用者介面而設計的。當智慧體試圖在待辦事項清單上新增項目時,它必須剖析 HTML、猜測哪個按鈕是「新增」、模擬點擊,然後祈禱文件物件模型 (DOM) 結構從上次讀取後沒有改變。

WebMCP 允許網站透過瀏覽器直接向智慧體開放其操作功能:

document.modelContext.registerTool({
  name: "add-todo",
  description: "Add a new item to the user's active todo list",
  inputSchema: {
    type: "object",
    properties: {
      text: { type: "string", description: "The todo item text" }
    },
    required: ["text"]
  },
  async execute({ text }) {
    await addTodoItemToCollection(text);
    return { content: [{ type: "text", text: `Added: "${text}"` }] };
  }
});

工具「合約」變得明確。不再需要剖析 HTML,不再需要猜測表單欄位。由於工具是在頁面內執行,它們可以重複使用使用者現有的工作階段和狀態。Code Mode 更進一步。智慧體以程式碼思考,透過撰寫程式碼來呼叫工具,比自然語言更快更準。當智慧體呼叫端點而非爬取網頁時,內容擁有者也能清楚收到訊號,知道哪些內容確實被使用了。 

我們認為,可付費是智慧體網際網路未來發展的方向。任何經濟交易最終都需要支付環節。傳統的廣告模式正在失效;當使用者變成程式時,按席位收費的模式也不再適用。我們所依賴的發布者,無法靠那些從未發生的頁面瀏覽量和從不渲染廣告的瀏覽器來維持營運。 

一個從來無法透過廣告獲利的食譜網站,可以在每次讀取時收取極小額的費用(例如零點幾分錢),並在智慧體網際網路的規模下實現獲利。一家地方報紙可以在文章被讀取時即時授權,不需要簽署授權協議或要求登入。另一方面,智慧體帶著錢包和人類預設好的預算前來拜訪。 

每一次付費互動都會留下一張收據。發布者可以證明是哪個智慧體讀取了哪個頁面。智慧體也可以證明它為所使用的內容付了費。Wallets 讓智慧體能輕鬆地為內容和 API 付費。Monetization Gateway 則讓網域擁有者只需點擊幾下,就能設定來自智慧體的付款機制。

Cloudflare 在設計上正處於這一切的中央。我們早已置身於數十億人類和他們所造訪的網站之間,保護他們、加速他們、維持他們的線上運作。智慧體改變了流量,但沒有改變這項工作的本質——我們是中立、高效能的基礎層,是發布者、商家、智慧體開發者與終端用戶都能信任的盟友,而非競爭者。 

我們希望為網域擁有者提供工具,讓他們能賦能自己想支援的 AI 智慧體類型,並封鎖那些不想支援的。。開發人員工具可能希望做好智慧體準備,以鼓勵 AI 智慧體來探索、推薦並付費給它們。發布者可能希望封鎖掠奪型 AI(消耗資源卻毫無回饋),但允許那些取得內容授權或給予補償的 AI 智慧體。非營利數據提供者可能想封鎖超出速率限制的機器人或人類,但允許他們付費來解除封鎖,並將這些收入用於彌補超額的資源消耗。

機器人已死,機器人萬歲

機器人與人類之間的界線不再涇渭分明。不再是簡單的「機器人壞、人類好」,也不是機器人搶佔人類資源那麼簡單。在智慧體的時代,這種思維已經過時了。

我們將智慧體視為一種新型態的行動者。它們的行為可以是良善的,例如以節省資源的方式閱讀內容、依照網域擁有者指定的方式互動、並為使用付費。它們的行為也可能是惡意的,例如未經補償地抓取數百萬頁面、試圖繞過封鎖或無視 robots.txt。我們相信,只要賦予人類與機器人正確的工具,許多惡意行為將會減少,甚至轉化為良善行為。

縮小營收缺口

Cloudflare 多年來一直在偵測機器人,讓網域擁有者能決定是否允許機器人存取他們的網站。但一直欠缺的是另一半:當智慧體被放行之後,它們如何與這些網站互動。這就是這套智慧體工具組合的用途:讓網路變得可讀、可發現、可呼叫、可付費。這四個基本元件都建立在開放標準之上,因此沒有任何一家公司能獨佔這些基礎軌道。 

一個開放的智慧體網際網路需要雙方的多樣性。不僅需要多元的發布者和內容創作者,也需要多元的智慧體。如果需求端趨於集中,那麼供給端再怎麼開放也無濟於事——網際網路仍會是一座圍牆花園。

我們正在打造這個開放的替代方案。歡迎加入我們,透過我們的新儀表板讓您的網站做好智慧體準備,並註冊以接收有關我們的 Answer Engine Optimization 產品的最新消息。如果您經營一個網站或一個智慧體,您也可以透過我們的 AI Playground 來體驗所有這些新興的網際網路技術。