개방형 에이전틱 인터넷 구축하기: 읽고, 찾고, 호출하고, 결제할 수 있는 인터넷

Cloudflare의 데이터에 따르면 정상적으로 작동하는 봇에서 발생하는 트래픽 중 상당 부분은 ​변경되지 않은 페이지를 다시 가져오는 데 사용되고 있습니다. 그 규모는 수십억 건의 요청에 달합니다. 아무런 성과도 내지 못하면서 엄청난 양의 머신 리소스가 소모되고 있는 것입니다. 이는 사람을 위해 구축된 웹에 전혀 다른 유형의 방문자가 찾아오고 있음을 보여주는 단적인 사례입니다.

에이전트는 이미 등장했습니다. 새로운 유형의 소프트웨어가 아니라, 웹을 방문하는 새로운 유형의 방문자로서 말입니다.

Cloudflare는 이러한 새로운 방문자를 중심으로 재편되는 웹을 에이전틱 인터넷이라고 부릅니다. Cloudflare가 바라보는 에이전틱 인터넷의 미래는 읽을 수 있고, 검색할 수 있고, 호출할 수 있고, 결제할 수 있는 인터넷입니다. 이러한 미래를 실현하려면 에이전트를 위한 도구와 프로토콜이 필요합니다.

Cloudflare의 개발자 플랫폼은 에이전트가 실행될 공간과 에이전트를 구축하기 위한 최초의 도구를 제공했습니다. 아직 필요한 것은 에이전트와 도메인 소유자가 서로 충돌하는 대신 협력할 수 있게 해주는 도구입니다. 단일 플랫폼 내부가 아니라 개방형 인터넷에서 말입니다.

모든 브라우저는 예전부터 User-Agent라는 헤더를 통해 웹에 자신의 신원을 밝혀 왔습니다. 브라우저가 사용자를 대신해 행동한다는 점을 생각하면 이 이름의 의미를 이해할 수 있습니다. 이제 사용자 에이전트는 말 그대로 사용자의 에이전트가 되었습니다. 사람을 대신해 웹에서 정보를 가져오는 프로그램입니다. 오늘날 가장 발전된 형태는 코드를 읽고 작성하며, 필요한 문서를 가져오면서도 자신이 읽는 페이지를 직접 보지는 않는 코딩 에이전트입니다.

에이전트는 CSS를 렌더링하지도, 사이트의 히어로 이미지를 보지도, 광고를 클릭하지도 않습니다. 하지만 그 뒤에는 비용을 지불하는 사람이 있습니다. 이제 모든 요청에는 누군가의 비용이 들며, 각각의 요청에는 목적이 있습니다. 에이전트를 차단하면 고객을 차단하는 셈입니다. 에이전트를 스크래퍼처럼 취급하면 고객을 잃게 됩니다.

모든 에이전트가 실행되는 이유는 누군가, 즉 개인이나 기업이 그 작업에 비용을 지불하고 있기 때문입니다. 대부분의 사람은 아무 이유 없이 토큰을 소비하지 않습니다. 모든 요청의 끝에 달성해야 할 결과와 지불해야 할 비용이 존재하는 인터넷은 지금의 인터넷과는 완전히 다른 모습이 될 것입니다.

웹은 이러한 환경을 염두에 두고 구축되지 않았으며, 여러분의 분석 도구도 마찬가지입니다. 대부분의 경우 비즈니스 모델 역시 그렇습니다. 에이전트가 콘텐츠를 어떻게 읽고, 검색하고, 호출하고, 결제하는지가 인터넷이 개방된 상태로 유지될지 아니면 폐쇄될지를 결정하게 될 것입니다. 한 가지 미래에서는 소수의 기술 스택이 검색, 신원, 결제를 장악하고 나머지는 모두 이를 거쳐야 합니다. 또 다른 미래에서는 인터넷이 개방된 상태로 유지됩니다. 누구나 구현할 수 있는 표준을 기반으로 한 기본 요소가 사용되고, 코드가 공개되어 있어 중립성을 유지하는 기반 위에서 작동하는 인터넷입니다.

Cloudflare는 개방형 인터넷을 지지하며, 개방형 인터넷이 계속 발전할 수 있는 미래를 구축하는 데 기여할 수 있는 위치에 있습니다.

Cloudflare가 기반으로 삼는 사양은 누구나 구현할 수 있는 개방형 표준입니다. 여기에는 x402, MCP, Web Bot Auth, PACT 등이 포함됩니다. 도메인 소유자는 신원 공급자, 결제 처리업체, 에이전트 파트너를 직접 선택합니다. Cloudflare는 하나의 선택지일 뿐, 전체 스택을 독점하지 않습니다. Cloudflare 역시 고객과 동일한 기반을 사용하는 Customer Zero이며, Cloudflare만 이용할 수 있는 특권적인 경로나 초기 액세스 API는 없습니다. Cloudflare는 지난 15년 동안 사람을 위한 웹에서 이러한 역할을 해왔으며, 에이전틱 인터넷에서도 같은 역할을 이어갈 것입니다.

에이전틱 인터넷을 사용하는 사람들이 주목하는 것은 그 이면의 엔지니어링이 아닙니다. 사람들은 새로운 매체를 접하게 될 것이며, 웹을 평가했던 것과 마찬가지로 기존보다 더 나은지를 기준으로 평가할 것입니다. 식당을 찾고 예약하는 데 아홉 번의 상호작용이 아니라 한 번이면 충분한지, 자신이 누구와 거래하고 있는지 알 수 있는지, 안심하고 결제할 수 있는지가 중요합니다.

Cloudflare의 철학: 읽고, 검색하고, 호출하고, 결제할 수 있는 에이전틱 인터넷

그 시작은 신원입니다. ​Web Bot Auth를 사용하면 봇이 방문하는 모든 사이트에서 암호화 방식으로 자신의 신원을 증명할 수 있으므로, 게시자는 어떤 봇을 허용하고 어떤 봇을 허용하지 않을지 결정할 수 있습니다. 더 이상 추측하거나 위조된 사용자 에이전트에 의존할 필요가 없습니다. 많은 사이트는 이미 로그인, 애플리케이션 내 행동 또는 구매 기록을 통해 요청을 보낸 사람이 누구인지 알고 있습니다. 이러한 사이트는 ​Private Access Control Tokens(PACT)를 발급할 수 있습니다. Mozilla, Google, Microsoft, Shopify와 함께 발표한 PACT를 사용하면 사이트에서 사용자의 신원을 공개하지 않고도 신뢰할 수 있는 사용자임을 보증할 수 있으며, 에이전트는 이 토큰을 다른 곳에서 제시할 수 있습니다. 따라서 정상적인 에이전트는 더 적은 마찰로 액세스할 수 있습니다.

그다음에는 에이전트가 더 쉽게 작업을 수행할 수 있도록 할 수 있습니다. ​Markdown for Agents를 사용하면 에이전트가 더 적은 토큰과 대역폭으로 웹사이트를 읽을 수 있습니다. ​WebMCP는 에이전트가 사용자를 대신해 상호작용할 수 있는 네이티브 방식을 제공합니다. ​x402와 같은 표준을 사용하면 에이전트가 판매자에게 직접 결제할 수 있습니다.

읽을 수 있다(Readable)는 것은 간단합니다. AI 에이전트가 자신에게 적합하고 자신의 강점을 살릴 수 있는 방식으로 콘텐츠를 읽을 수 있을까요? 에이전트가 사용하는 대역폭과 토큰이 적을수록 좋습니다. 사람이 볼 수 있도록 렌더링되지만 에이전트는 전혀 보지 않는 모든 HTML 태그는 컴퓨팅 리소스를 낭비할 뿐만 아니라 컨텍스트 창까지 불필요한 정보로 채우며, 에이전트는 이를 무시하는 데에도 비용을 지불해야 합니다. ​Markdown for Agents는 서버 측에서 이 문제를 해결합니다.

클라이언트 측에서는 에이전트를 최우선 사용자로 고려하여 브라우저를 구축했습니다. ​Kitesurf는 Workers에서 실행할 수 있을 만큼 가벼운 새로운 브라우저로, 요청마다 생성되고 작업이 끝나면 폐기됩니다. 기존 브라우저의 사람 중심 기능에서 비롯되는 불필요한 요소 없이 에이전트에 필요한 콘텐츠와 기능을 제공합니다.

검색할 수 있다(Discoverable)는 것은 에이전틱 인터넷에서 모든 경제 활동이 시작되는 지점입니다. 에이전트가 리소스를 읽거나, 도구를 호출하거나, 거래 비용을 결제하려면 먼저 해당 리소스가 존재한다는 사실을 알아야 합니다. 검색은 그중 절반에 해당합니다. 에이전트는 사람이 천천히 키워드를 입력하고 검색 결과를 훑어보도록 설계된 검색창이 아니라, 에이전트를 위해 만들어진 인터페이스를 통해 필요한 것을 찾아야 합니다. ​AI Search는 현재 제공되고 있으며, 이를 통해 모든 공개 사이트를 에이전트가 검색할 수 있도록 만들 수 있습니다.

다른 절반은 발견되는 것입니다. 콘텐츠 제작자와 API 소유자는 에이전트에게 자신이 얼마나 잘 노출되고 있는지 알아야 합니다. ​Agent Engine Optimization(AEO)는 주요 모델과 에이전트 전반에서 브랜드의 가시성을 측정합니다. 고객이 사용하는 에이전트에게 여러분이 얼마나 노출되는지 측정할 수 없다면, 사실상 그 에이전트에게는 오프라인 상태인 것과 같습니다. 

호출할 수 있다(Callable)는 것은 에이전트가 실제로 작업을 수행하기 시작하는 단계입니다. 식당을 예약하거나, 구독을 갱신하거나, 보고서를 가져오는 것 등이 여기에 해당합니다. 사람을 위한 웹에서는 이러한 작업이 모두 서로 다른 모습으로 구현되어 있습니다. 사람이 사용자 인터페이스를 클릭하도록 만들어졌기 때문입니다. 에이전트가 할 일 목록에 항목 하나를 추가하려면 HTML을 파싱하고, 어떤 버튼이 '추가' 버튼인지 추측하고, 클릭 동작을 생성한 다음, 마지막으로 확인했을 때와 비교해 DOM이 바뀌지 않았기를 바라야 합니다.

WebMCP를 사용하면 사이트에서 브라우저를 통해 에이전트에 작업을 직접 제공할 수 있습니다.

document.modelContext.registerTool({
  name: "add-todo",
  description: "Add a new item to the user's active todo list",
  inputSchema: {
    type: "object",
    properties: {
      text: { type: "string", description: "The todo item text" }
    },
    required: ["text"]
  },
  async execute({ text }) {
    await addTodoItemToCollection(text);
    return { content: [{ type: "text", text: `Added: "${text}"` }] };
  }
});

도구의 "계약"이 명확해집니다. HTML을 파싱하거나 양식 필드를 추측할 필요가 없습니다. 도구가 페이지 내에서 실행되므로 사용자의 기존 세션과 상태를 그대로 활용합니다. ​Code Mode는 여기서 한 단계 더 나아갑니다. 에이전트는 코드로 사고하며, 코드를 작성해 도구를 호출하는 것이 자연어로 호출하는 것보다 더 빠르고 정확합니다. 에이전트가 웹페이지를 스크래핑하는 대신 엔드포인트를 호출하므로, 콘텐츠 소유자는 실제로 어떤 콘텐츠가 사용되고 있는지 명확하게 파악할 수 있습니다. 

결제할 수 있다(Payable)는 것은 Cloudflare가 에이전틱 인터넷이 나아갈 방향이라고 생각하는 부분입니다. 모든 경제적 거래에는 결국 결제 수단이 필요합니다. 광고 기반 모델은 무너지고 있습니다. 사용자가 프로그램이라면 사용자 수 기반 모델도 제대로 작동하지 않습니다. 우리가 의존하는 게시자들은 발생하지 않는 페이지 조회 수와 광고를 렌더링하지 않는 브라우저를 통해서는 운영에 필요한 수익을 얻을 수 없습니다. 

광고로는 수익을 내지 못했던 레시피 사이트도 콘텐츠를 한 번 가져올 때마다 1센트의 일부에 해당하는 금액을 부과하면 에이전틱 인터넷의 규모에서는 수익을 낼 수 있습니다. 지역 신문은 별도의 라이선스 계약이나 로그인 없이 기사를 읽는 시점에 라이선스를 제공할 수 있습니다. 반대편에서는 에이전트가 사람이 한 번 설정해 둔 예산이 담긴 지갑을 가지고 접근합니다. 

모든 유료 상호작용에는 영수증이 남습니다. 게시자는 어떤 에이전트가 어떤 페이지를 가져갔는지 증명할 수 있고, 에이전트는 자신이 사용한 콘텐츠에 대한 비용을 지불했음을 증명할 수 있습니다. ​Wallets를 사용하면 에이전트가 콘텐츠와 API 비용을 간편하게 결제할 수 있습니다. ​Monetization Gateway를 사용하면 도메인 소유자가 몇 번의 클릭만으로 에이전트의 결제를 받을 수 있도록 설정할 수 있습니다.

Cloudflare는 설계상 이 모든 과정의 중간에 위치합니다. Cloudflare는 이미 수십억 명의 사용자와 이들이 방문하는 사이트 사이에서 사용자를 보호하고, 사이트의 속도를 높이며, 사이트가 계속 온라인 상태를 유지하도록 지원하고 있습니다. 에이전트로 인해 트래픽의 성격은 달라지지만 Cloudflare가 수행하는 역할의 본질은 달라지지 않습니다. Cloudflare는 게시자, 판매자, 에이전트 개발자, 최종 사용자 모두가 자신들과 경쟁하는 존재가 아니라 자신의 편이라고 믿을 수 있는 중립적인 고성능 계층입니다. 

Cloudflare는 도메인 소유자가 지원하려는 AI 에이전트는 활용할 수 있도록 하고, ​지원하지 않으려는 AI 에이전트는 차단할 수 있는 도구를 제공하고자 합니다. 개발자 도구라면 AI 에이전트가 자신을 검색하고 추천하며 비용을 지불하도록 유도하기 위해 ​에이전트 준비도를 높이고자 할 수 있습니다. 게시자는 아무런 대가 없이 리소스만 소비하는 착취적인 AI 에이전트는 차단하면서, 콘텐츠에 대한 라이선스를 취득하거나 대가를 지불하는 AI 에이전트는 허용하고자 할 수 있습니다. 비영리 데이터 제공업체라면 레이트 리미팅을 초과하는 봇이나 사람을 차단하되, 비용을 지불하면 차단을 해제하여 계속 이용할 수 있도록 하고, 그 수익으로 초과 리소스 사용에 따른 비용을 충당하고자 할 수 있습니다.

봇은 죽었습니다, 봇이여 영원하라

봇과 사람을 구분하는 ​것은 더 이상 그렇게 간단하지 않습니다. 봇은 나쁘고 사람은 좋다거나, 봇이 사람이 사용해야 할 리소스를 낭비한다고 단순하게 볼 수 없습니다. 이는 에이전트의 시대에는 더 이상 맞지 않는 오래된 사고방식입니다.

Cloudflare는 에이전트를 새로운 유형의 행위자로 봅니다. 에이전트의 행동은 리소스를 절약하는 방식으로 콘텐츠를 읽고, 도메인 소유자가 지정한 방식으로 웹사이트와 상호작용하며, 사용한 만큼 비용을 지불하는 등 바람직할 수 있습니다. 반대로 아무런 대가 없이 수백만 개의 페이지를 스크래핑하거나, 차단을 우회하려 하거나, ​robots.txt를 무시하는 등 바람직하지 않을 수도 있습니다. Cloudflare는 사람과 봇에 적절한 도구가 제공된다면 이러한 바람직하지 않은 행동 중 상당수가 줄어들고, 심지어 바람직한 행동으로 바뀔 수도 있다고 생각합니다.

수익 격차 해소

Cloudflare는 수년 동안 봇을 탐지하고, 도메인 소유자가 봇의 액세스 허용 여부를 직접 제어할 수 있도록 지원해 왔습니다. 지금까지 부족했던 것은 그다음 단계, 즉 액세스가 허용된 후 에이전트가 해당 사이트와 어떻게 상호작용하는가였습니다. 바로 이를 위해 에이전틱 도구 제품군을 제공합니다. 웹을 읽을 수 있고, 검색할 수 있고, 호출할 수 있고, 결제할 수 있도록 만드는 것입니다. 이 네 가지 기본 요소는 모두 개방형 표준을 기반으로 하므로 어느 한 기업이 그 기반을 독점하지 않습니다. 

개방형 에이전틱 인터넷을 위해서는 양쪽 모두에 다양성이 필요합니다. 다양한 게시자와 콘텐츠 제작자뿐만 아니라 다양한 에이전트도 필요합니다. 수요 측이 소수에 집중된다면 공급 측이 아무리 개방되어 있어도 소용이 없습니다. 인터넷은 여전히 폐쇄형 생태계에 머물게 됩니다.

Cloudflare는 이러한 개방형 대안을 구축하고 있습니다. ​새로운 대시보드를 사용하여 사이트의 에이전트 준비도를 높이고, Answer Engine Optimization 제품에 관한 소식을 받아볼 수 있도록 신청하세요. 사이트나 에이전트를 운영하고 있다면 ​AI Playground에서 인터넷의 새로운 기술을 모두 직접 시험해 볼 수 있습니다.