Erwünschte und unerwünschte Verhaltensweisen im agentenbasierten Internet sichtbar machen

Im Internet gibt es nicht nur eine Art von Datenverkehr. Lange galt in der Websicherheit die Faustregel: Bots sind schlecht, Menschen sind gut. Diese pauschale Sichtweise ist heute überholt. Menschen können betrügerische Absichten verfolgen, während Bots in verschiedenen Bereichen einen wichtigen Nutzen bieten. Betreiber von Websites wünschen sich sogar bewusst bestimmte automatisierte Zugriffe, damit das Internet funktioniert und Inhalte gefunden werden können.

Um die Sache noch weiter zu komplizieren, verschwimmt die Grenze zwischen „Mensch“ und „Bot“ immer mehr. Inzwischen gibt es eine Art „hybriden“ Datenverkehr, bei dem eine einzelne Sitzung zwischen menschlicher und agentenbasierter Interaktion wechselt – und wieder zurück. Ein Beispiel: Ein Nutzer stöbert in einem Onlineshop und übergibt anschließend den Bezahlvorgang an einen automatisierten Einkaufsassistenten.

Wie können Website-Betreiber also mit dieser Komplexität umgehen? Im Mittelpunkt steht die Beurteilung von Verhaltensweisen. Handelt es sich um missbräuchliches oder schädliches Verhalten? Welches Risiko geht davon aus, und kann diesem Besucher angesichts seiner Aktivitäten vertraut werden? Dafür reichen statische Momentaufnahmen nicht aus. Erforderlich ist eine kontinuierliche Analyse des Verhaltens, um das Vertrauen fundiert zu bewerten.

In diesem Beitrag geben wir einen Einblick in die Strategie des Web Integrity & Trust-Teams, das sich mit den Themen Bots und Betrug befasst. Wir zeigen, wie gute und schlechte Verhaltensmuster erkannt und analysiert werden und welche Werkzeuge Website-Betreibern dabei helfen, neue Herausforderungen im zunehmend agentenbasierten Internet zu meistern. Zudem teilen wir Erkenntnisse zum agentenbasierten Traffic seit dem Start von Precursor sowie eine Simulation, mit der Sie nachvollziehen können, wie Ihre eigenen Cursorbewegungen als Mensch oder Bot bewertet würden. Außerdem erwarten Sie einige spannende Updates zu bevorstehenden Produkteinführungen.

Risiko und Vertrauen: eine Definition

Sprechen wir über den Unterschied zwischen Risiko und Vertrauen, wie wir ihn bei Cloudflare im Bereich der Bot-Erkennung definieren. Häufig werden beide als Gegenpole auf einem Kontinuum verstanden. Wir betrachten sie dagegen als unabhängige, sich gegenseitig beeinflussende Größen. Vertrauen ist dabei die entscheidende Voraussetzung, um fundiert darüber entscheiden zu können, wie mit dem jeweiligen Traffic verfahren werden sollte. 

Risiko beschreibt, wie wahrscheinlich eine Anfrage oder Aktion schädlich ist, und ist oft nur kurzfristig relevant. Vertrauen entsteht dagegen über Zeit und basiert auf Reputation.

Ein Beispiel aus dem Alltag macht das deutlich: Sie sitzen abends zu Hause vor dem Fernseher, als plötzlich wiederholt die Türklingel läutet. Das ist nicht nur störend, sondern auch ungewöhnlich. Stürmisches Klingeln spät in der Nacht wirkt alarmierend.

Dann sehen Sie über Ihre Türkamera, dass es Ihr bester Freund von nebenan ist. Natürlich vertrauen Sie ihm, und vermutlich würden Sie ihn hereinlassen.

In diesem Fall würde eine Regel wie „alle ablehnen, die nachts klingeln“ oder „alle ablehnen, die mehr als zehnmal klingeln“ nicht ausreichen. Vertrauen ist der ausschlaggebende Faktor.

Übertragen auf Internet-Traffic bedeutet das: Unsere Produktstrategie im Bereich Bots und Betrug konzentriert sich darauf, ein ganzes Ökosystem auf Basis von Vertrauen aufzubauen. Ziel ist es, Website-Betreibern die Anreize und Grundbausteine zu geben, mit denen sie Verhalten fördern können, das das Internet für alle sicherer macht: von der Blockierung bösartiger Aktivitäten am unteren Ende bis zur aktiven Unterstützung eines sichereren Internets am oberen Ende.

Gutes Verhalten basiert auf Transparenz

Was zählt als gutes Verhalten? Klare Beispiele liefern die verifizierten Bots und Agents in BotBase. Im vergangenen Monat haben wir eine aktualisierte pragmatische Taxonomie für die guten Bots vorgestellt, die wir in unserem System erfassen. „Verified“ bedeutet im Kern zwei Dinge: Sie geben ehrlich an, wer Sie sind, und Sie missbrauchen das Vertrauen nicht, das Sie sich verdient haben. 

Transparenz zwischen Website-Betreiber und Bot-Betreiber ermöglicht eine symbiotische Beziehung: Website-Betreiber können festlegen, welche Verhaltensweisen und Datennutzungen sie auf ihren Websites zulassen möchten, und Bot-Betreiber erhalten leichter Zugang. Diese Transparenz schafft Vertrauen in der Beziehung: Wer nichts zu verbergen hat, sollte durch die Offenlegung seiner Identität bei Websites, die dieses Verhalten zulassen möchten, auf weniger Hürden stoßen.

BotBase soll nicht nur erklären, wer „gut“ ist. Es ist als Verzeichnis aller bekannten Bots und Agents gedacht und stellt die Fakten bereit. Im Vergleich zu unserem früheren Bots Directory, das nur bekannte gute Bots enthielt, kann BotBase auch weniger gute Bots und Agents erfassen. Der Grund: Unsere Systeme verfolgen und validieren das Verhalten bekannter guter Akteure. Dadurch haben wir die Werkzeuge, um zu erkennen, wenn Erwartungen nicht erfüllt werden. Wer Vertrauen im Cloudflare-Netzwerk missbraucht, sollte nicht einfach zugelassen werden und wird daher unverifiziert.

Schlechtes Verhalten: offen, verdeckt und alles dazwischen

Vor einigen Wochen haben wir Precursor vorgestellt, ein kontinuierliches clientseitiges System zur Erkennung auch subtil unmenschlichen Bot-Traffics, der bei reiner Bewertung von Netzwerksignalen unentdeckt bleiben kann. Wenn ein Kunde Precursor aktiviert, wird die JavaScript-Erkennung über das CDN injiziert. Sie müssen also nicht manuell herausfinden, wo oder wie diese Erkennungen erneut ausgeführt werden. Außerdem bewertet Precursor das Nutzerverhalten kontinuierlich über die gesamte Sitzung hinweg. Missbräuchlicher Traffic erhält dadurch keinen Freipass mehr, nur weil er eine Client- oder Browserprüfung einmal bestanden hat.

Übertragen wir unser Risiko-und-Vertrauen-Modell auf diese clientseitigen Erkennungsmechanismen, zeigt sich: CAPTCHAs oder einmalige Hürden sind risikobasiert, was bedeutet, dass ihnen Kontext fehlt. Andererseits ist die Überprüfung anhand von Verhaltensmerkmalen vertrauensbasiert, da sie mehr Kontextinformationen aus der gesamten Benutzersitzung erfassen kann. Precursor ist das Werkzeug für uns, um dieses Verhalten zu analysieren. Zusammengefasst ist Precursor so leistungsstark, weil es:

1. es vertrauensbasierte Erkennung über die gesamte Sitzung bietet und
2. die Kosten für Bot-Entwickler erhöht,, menschliches Verhalten über mehrere Seiten hinweg nachzuahmen.

Wenn es wirtschaftlich unattraktiv wird, diese Erkennung zu umgehen, gewinnen wir das adversarische Spiel.

Was haben wir seit dem Start gelernt? Zum Zeitpunkt der Erstellung dieses Beitrags sehen wir in nur 24 Stunden 206 Millionen Precursor-Bewertungsereignisse über 73.438 Zonen im Cloudflare-Netzwerk.

Die Daten bestätigen Muster, die wir beim Start vermutet hatten und nun über Zehntausende Domains hinweg validieren können:

• Verdächtiges Verhalten tritt häufig mitten in einer Sitzung auf und würde von punktueller Erkennung nicht erfasst.
• Verhalten wechselt im Verlauf einer Sitzung oft zwischen menschlich und agentenbasierten. In solchen Fällen ist es wichtig, die Absicht zu verstehen, damit Website-Betreiber keine Nutzerabläufe blockieren, die sie eigentlich zulassen möchten.
  • Diese Erkenntnisse unterstreichen die Bedeutung eines Bot-Klassifizierungssystems, mit dem Website-Betreiber Traffic nach Anwendungsfall, Zweck und Datennutzung steuern können. Genau deshalb haben wir die Taxonomie-Updates für BotBase priorisiert.

Wer mehr darüber erfahren möchte, wie Precursor funktioniert, findet in unserem Ankündigungsbeitrag einen Einblick in die Signale, die zeigen, dass Irren menschlich ist. Heute gehen wir einen Schritt weiter: Mit einer interaktiven Demo kann jeder im Internet simulieren, wie Precursor Cursorbewegungen nachverfolgen würde.

Precursor Trace ist jetzt live und zeigt, wie wir Ihre Cursorbewegungen mit einem Teil des Precursor-Erkennungsmechanismus bewerten würden. Sie können sehen, ob Sie beschleunigen oder korrigieren, welchen Rhythmus und welche Textur Ihre Cursorbewegung hat und mehr – Details, über die Sie sich als Mensch bei der Computernutzung wahrscheinlich noch nie Gedanken gemacht haben. Probieren Sie es aus.

Adaptive Intelligence kommt bald

Die  Bot-Erkennungsmechanismen von Cloudflare können bei der Bewertung, ob eine bestimmte Anfrage automatisiert ist oder nicht, zu unterschiedlichen Ergebnissen kommen. Bei Anfragen, die als automatisiert eingestuft werden, kann die Bewertung entweder 1) eindeutig automatisiert lauten – auf Grundlage bewährter, deterministischer Methoden oder charakteristischer Bot-Fingerprints – oder 2) wahrscheinlich automatisiert, basierend auf dem prädiktiven Scoring von Cloudflares Bots ML.

Historisch wurde Bots ML in Versionen aktualisiert, die jeweils als Produktlaunch angekündigt wurden. Dieses Tempo reicht nicht aus, wenn Bots sich innerhalb von Stunden oder Minuten anpassen.

Adaptive Intelligence ist eine völlig neue Detection Engine und unterscheidet sich von allem, was wir bisher im Bots-ML-Bereich entwickelt haben. Das Modell ist adaptiv: Es hat aus allem gelernt, was wir in der Vergangenheit beobachtet haben. Noch wichtiger ist jedoch, dass es kontinuierlich weiterlernen und sich auf Grundlage dessen, was es beobachtet, selbst anpassen wird. Adaptive Intelligence wird sich anhand einer breiten Spanne erkannter Traffic-Muster selbst aktualisieren, von erwünschtem bis zu unerwünschtem Verhalten. Kunden müssen künftig nicht mehr auf eine formale neue Modellversion wechseln, damit ihnen stets die neuesten prädiktiven Funktionen zur Bot-Erkennung zur Verfügung stehen. 

Alle Bot Management-Kunden erhalten in naher Zukunft Zugriff auf Adaptive Intelligence. Weitere Details folgen mit der Launch-Ankündigung.

Über deterministische Ansätze hinaus: Bot-Verhalten beeinflussen

Bisher haben wir uns auf die Cloudflare-Seite konzentriert: Strategie, Erkennung und Taxonomie. All das versetzt Cloudflare in die Lage, Website-Betreibern die Werkzeuge bereitzustellen, die sie benötigen, um die gewünschten Traffic-Richtlinien für ihre Websites festzulegen. Nun betrachten wir die Seite der Website-Betreiber genauer und sprechen über fortgeschrittene Abwehrmaßnahmen, mit denen sie selbst Bot-Verhalten beeinflussen können.

Bei offensichtlicheren Abwehrmaßnahmen entsteht ein Problem, das wir das „Bot Antibiotic Problem“ nennen. Wenn Bots immer eine deterministische Antwort erhalten, kann ein Entwickler eines bösartigen Bots Ihre Abwehr leichter testen, beobachten und zurückentwickeln.

Wir entwickeln deshalb Abwehrmaßnahmen, die speziell auf das Drosseln von Bots ausgelegt sind, mit unterschiedlichen Ansätzen für bösartige und gutartige Bots.. Wir können sie in drei Ansätze unterteilen:

Ansatz 1: Unvorhersehbarkeit und zufällige Maßnahmen. Zufällige Antworten wie Blockieren, Challenge oder Zulassen bei verdächtigem automatisiertem Traffic stören die automatisierte Wiederholungslogik und Fingerprinting-Mechanismen eines Bots.

Ansatz 2: AI Labyrinth, eine defensive Antwort, die nicht autorisierte Bots in ein endloses Labyrinth KI-generierter Webseiten lockt. Durch Irreführung können Sie Rechen- und Crawl-Budgets bösartiger Bots verschwenden. Website-Betreiber erhalten in AI Labyrinth drei Optionen.

• „Maze“ erzeugt ein endloses Netz verlinkter Seiten, dem Bots folgen können.
• „Summary“ liefert Crawlern eine LLM-generierte Zusammenfassung einer Seite, die echt wirkt, aber als KI-Trainingsdaten vollständig nutzlos ist.
• „Poison“ stellt einem Bot bewusst falsche Inhalte bereit, etwa falsche Preise oder Lagerbestände, und verunreinigt damit die Daten, die er für KI-Training sammelt.

Ansatz 3: Warteschlangen für gute Bots. Nicht jeder agentenbasierte Traffic ist schlecht. Queuing steuert den Durchsatz für legitimen automatisierten Traffic, etwa nutzergesteuerte Shopping-Agents, ohne ihnen den Zugriff vollständig zu verweigern.

Diese fortgeschrittenen, Bot-spezifischen Abwehrmaßnahmen sollen im weiteren Jahresverlauf eingeführt werden. Website-Betreiber können dann wählen, wie streng ihre Abwehrmaßnahmen sein sollen.

Eine starke Verteidigung ist vorausschauend: Sie lernt selbst, justiert bei sich selbstständig nach und benötigt nicht mehrere Sicherheitsexperten in einer Besprechung, die reaktiv eine Lösung für den neuesten schwer erkennbaren Angriff konfigurieren. Das kann wie ein System „temporärer“ Regeln aussehen, bei dem das Regelwerk dynamisch ist. Das ist beabsichtigt: Wenn Angriffe sich ständig weiterentwickeln, sollten Abwehrmaßnahmen das ebenfalls tun. Deshalb arbeiten wir daran, Erkennungen und Abwehrmaßnahmen immer einen Schritt voraus zu halten.

Schaffen Sie das Vertrauensökosystem, das zu Ihnen passt

Wirklich jeder kann Maßnahmen ergreifen, um zu definieren, wie automatisierte Agenten mit ihrer Infrastruktur interagieren. 

Einige Dinge, die Sie ausprobieren sollten:

• Aktivieren Sie Precursor
• Experimentieren Sie mit Precursor Trace
• Erkunden Sie BotBase

Wenn wir statische, punktuelle Prüfungen hinter uns lassen und kontinuierliche Vertrauensbewertung nutzen, reduzieren wir das Katz-und-Maus-Spiel mit Bot-Betreibern. Wenn Sie die Bot-Erkennung von Cloudflare noch nicht verwenden, sehen Sie sie sich an und bauen Sie das Vertrauensökosystem auf, das zu Ihnen passt.