Mit identitätsbezogener Analyse unerwünschtes KI-Verhalten erkennen

Bei einem Blick auf Ihre KI-Kosten lässt sich nicht ohne Weiteres feststellen, ob etwas ungewöhnlich ist. Dafür benötigen Sie zunächst eine Verhaltensbaseline, anhand derer Veränderungen auffallen – etwa ein Agent, dessen Aktivität aus dem Ruder läuft, oder ein Mitarbeiter mit einem zehnfachen Nutzungsanstieg. Wenn Sie solche Verschiebungen erkennen können, können Sie mit der Untersuchung beginnen. Bisher waren sie jedoch nur schwer zu erkennen.

Eine der wichtigsten Herausforderungen für Organisationen besteht derzeit darin, nachvollziehen zu können, wer KI wie nutzt. Laut einem Bericht der Stanford University nannten 59 % der Organisationen Wissenslücken als größtes Hindernis für eine verantwortungsvolle KI-Governance. 

Dabei handelt es sich nicht nur um ein finanzielles, sondern ebenso um ein Sicherheitsproblem. Um diese Herausforderungen zu lösen, braucht es zwei Dinge: eine verifizierte Identität für jede Anfrage (damit hinter einem plötzlichen Anstieg ein konkreter Verantwortlicher steht) und ein Bild davon, was für diese Identität als normales Verhalten gilt. Heute stellen wir beides vor.

Das identitätsbezogene AI Gateway mit Cloudflare Access ist ab sofort in der offenen Beta verfügbar. User Insights ist für alle AI-Gateway-Kunden ohne Aufpreis allgemein verfügbar. Zusammen erstellen beide aus dem bestehenden AI-Gateway-Datenverkehr eine Verhaltensbaseline für jede Person und jeden Agenten und identifizieren Abweichungen vom normalen Verhalten.

Was ist AI Gateway?

AI Gateway dient als zentrale Kontrollinstanz für Ihre gesamte KI-Nutzung. Statt direkte Modellaufrufe von Apps und Teams an OpenAI, Anthropic, Google oder Workers AI zu senden, laufen Anfragen zuerst durch AI Gateway. Dadurch haben Sie einen einzigen Ort, um Ihre KI-Nutzung zu überwachen, zu schützen und zu verwalten.

Es funktioniert mit den Anwendungen, die Sie entwickeln, und mit den Entwicklungswerkzeugen, die Ihre Entwickler bereits nutzen. Routen Sie Agent-Harnesses wie Claude Code, Codex und GitHub Copilot über das AI Gateway, und sie fallen unter die gleiche Sichtbarkeit und Kontrolle wie alle anderen.

Identitätsbezogenes (Identity-aware) AI Gateway 

Mit der Integration von AI Gateway- und Cloudflare Access können Sie eine Vanity-Domain vor Ihr Gateway schalten und sie – wie jede andere Anwendung auch – mit Access schützen. Dadurch können Sie:

• sich über einen beliebigen SAML-kompatiblen Identitätsanbieter wie Okta oder Entra authentifizieren, sodass keine Cloudflare-API-Schlüssel mehr erstellt und weitergegeben werden müssen.
• genau festlegen, wer auf Ihr Gateway zugreifen darf.
• Anfragen an einen übersichtlichen Hostnamen wie ai.example.com senden – ganz ohne Konto-ID oder Gateway-ID in der URL.

Jede authentifizierte Anfrage enthält jetzt die Identität des Nutzers aus Access. AI Gateway ergänzt die verifizierte Access-Benutzer-ID als cf.user_id in den Metadaten der Anfrage, sodass Sie Logs, Analysen und Ausgaben nach der Person filtern können, die die Anfrage tatsächlich gestellt hat.

Zusammen mit Ausgabenlimits wird die Nutzeridentität zu einem Instrument für die Budgetkontrolle. Weil jede Anfrage jetzt einer konkreten Person zugeordnet ist, lassen sich individuelle Ausgabenlimits festlegen: Jeder Nutzer erhält ein eigenes Budget, und sobald dieses erreicht ist, können weitere Anfragen blockiert oder auf ein kostengünstigeres Modell umgeleitet werden. So gibt es keine unerwarteten Rechnungen mehr und keine gemeinsam genutzten API-Schlüssel, die verbergen, wer welche Kosten verursacht hat.

Einer unserer ersten Anwender, Flexport, stand vor genau diesem Problem.

„Gemeinsam genutzte API-Schlüssel machen es nahezu unmöglich nachzuvollziehen, wer einen KI-Dienst nutzt oder die Zugriffsrichtlinien anzuwenden, die wir bereits für unsere Mitarbeitenden definiert haben“, sagt Max Baumgarten, Staff Security Engineer bei Flexport. „Wenn wir Cloudflare Access vor AI Gateway schalten, erhält jede Anfrage eine authentifizierte Identität, und wir können unsere bestehenden Identitätsrichtlinien direkt auf Gateway-Ebene durchsetzen. Unsere Teams können KI-Tools einführen, ohne für jeden Client ein separates Authentifizierungssystem aufbauen zu müssen.“

Schon bald werden Sie die Gruppen Ihres Identitätsanbieters nutzen können, um Ausgabenlimits zu definieren oder den Modellzugriff einzelner Gruppen zu steuern. Beispielsweise können Sie Ihrem Machine-Learning-Team Frontier-Modelle freigeben, das Budget Ihres Support-Teams deckeln oder allen Mitarbeitenden eines bestimmten Projekts ein gemeinsames Budget zuweisen – abgebildet auf die Gruppen, die Sie bereits in Ihrem Identitätsanbieter pflegen.

Das neue „User Insights“-Tab

In AI Gateway finden Sie jetzt einen neuen Reiter namens User Insights. User Insights analysiert den Datenverkehr, der durch Ihr Gateway fließt, und erstellt daraus ein Verhaltensprofil für jedes Konto. Die Funktion lernt das typische Verhalten jedes Kontos, erkennt Abweichungen davon und liefert Ihnen den nötigen Kontext, um zwischen einem außer Kontrolle geratenen Agenten und einem stark ausgelasteten Entwickler zu unterscheiden. Da User Insights den Datenverkehr nutzt, der ohnehin durch Ihr Gateway läuft, ist keine Einrichtung erforderlich

User Insights verfolgt die Kosten – einschließlich der Bereiche, in denen Geld verschwendet wird, etwa durch niedrige Cache-Trefferraten oder überdimensionierte Kontextfenster. Solche Funktionen bieten bereits viele Tools. Was sie jedoch nicht leisten, ist zu erkennen, ob sich ein Konto normal verhält. Genau darauf haben wir uns konzentriert – zusätzlich zu den Funktionen zur Kostenkontrolle. 

Baseline für jedes Konto: Personen und Agenten

Jedes Konto bildet über die Zeit ein eigenes Verhaltensprofil aus – ganz gleich, ob es sich um eine Person oder einen Agenten handelt. Ein Agent, der im Drei-Stunden-Takt Tickets zusammenfasst, arbeitet sehr konsistent und vorhersehbar. Eine Person zeigt dagegen vielfältigere Prompts, unregelmäßige Aktivität und längere Sitzungen bei schwierigen Problemen. Beides ist normales Verhalten. Deshalb kann dieselbe Abweichung in einem Fall bloßes Rauschen und im anderen ein relevantes Signal sein.

In User Insights bewerten wir zunächst Sitzungen und nicht einzelne Anfragen. Absolute Schwellenwerte funktionieren hier nicht: Ein Anstieg um 500 USD kann bei einem Vielnutzer völlig normal sein, während eine Sitzung für 50 USD bei einem Agenten, der sonst immer nur 5 USD ausgibt, einer Verzehnfachung entspricht und andernfalls leicht unbemerkt bleiben könnte. Deshalb vergleichen wir jede Sitzung mit der eigenen Historie des Kontos und verwenden dafür die Sitzungskosten des 95. Perzentils (p95) der vergangenen 30 Tage. So erhalten wir ein Bild davon, wie das Konto normalerweise arbeitet. Alles, was mehr als das Doppelte seines p95-Werts kostet, ist ein starker Kandidat für anomales Verhalten.

Die folgende Analyse skizziert, wie wir zu diesen Zahlen gekommen sind.

Abbildung 1: Anomalieerkennung bei Sitzungsgebühren

Wie man das obige Diagramm liest 

Das Diagramm zeigt reale Sitzungen aus unserem internen Traffic. Jeder Punkt steht für eine einzelne Sitzung (auf logarithmischen Skalen dargestellt):

• X-Achse (Sitzungskosten): Gesamtkosten in USD.
• Y-Achse (x Benutzer p95): Wie oft die Sitzung die persönliche Baseline des Benutzers überschritten hat.

Die beiden gestrichelten Schwellenlinien unterteilen die Sitzungen in vier Kategorien:

• Oben rechts (★ Sterne): Überschreitet sowohl den 2-fachen Benutzer-p95-Basiswert als auch die Kontoebene-p99-Obergrenze. Dies sind hohe relative Spitzen, die einen signifikanten abnormalen Verbrauch darstellen und eine Warnung auslösen werden. 
• Oben links: Hoher relativer Anstieg (2× Nutzer-p95), aber unterhalb der p99-Untergrenze des Kontos. Wir ignorieren dies, um Warnungen bei kleinen absoluten Kostenverschiebungen zu vermeiden.
• Unten rechts: Hohe absolute Ausgaben, die jedoch mit dem typischen hohen Verbrauch dieses Benutzers übereinstimmen. Dies wird auch als normales Verhalten ignoriert.
• Unten links: Normale Aktivität gut innerhalb beider Baselines.

Abbildung 2: Verteilung der Sitzungsgebühren auf Kontoebene

Dieses Histogramm (Abbildung 2) ordnet die Kosten jeder Sitzung innerhalb der Organisation zu, um ein kontoübergreifendes Limit festzulegen:

• Typische Nutzung: Die große Mehrheit der Sitzungen kostet deutlich unter 10 USD, wobei das 95. Perzentil bei 20 USD liegt.
• Konto p99 (200 USD): Nur 1 % aller Sitzungen im gesamten Unternehmen erreichen oder übersteigen 200 USD.

Warum haben wir uns also für p99 entschieden? Indem wir die absolute Kostengrenze auf den p99-Wert des gesamten Kontos festlegen, schaffen wir eine aussagekräftige Schwelle. Dadurch ist sichergestellt, dass eine Anomalie nicht nur eine plötzliche Veränderung bei einem einzelnen Nutzer darstellt, sondern zugleich zu den teuersten 1 % aller Sitzungen in der gesamten Organisation gehört.

Abbildung 3: Verlauf einer einzelnen Benutzersitzung

Baselines sind nicht statisch. Wenn sich das Nutzungsverhalten eines Kontos verändert, passen sich sein gleitender p95-Wert (grüne Linie) und der daraus abgeleitete 2×-Schwellenwert (orange Linie) entsprechend an. Dadurch spiegelt eine Warnung immer das aktuelle Verhalten wider und nicht einen einmal festgelegten Grenzwert. Zusätzlich wenden wir eine absolute Kostenschwelle an, sodass ein Ausschlag sowohl statistisch ungewöhnlich als auch relevant genug sein muss, um die Aufmerksamkeit eines Administrators zu rechtfertigen. Diese Kostenschwelle verhindert, dass bei einem Konto mit minimaler Nutzung bereits ein 500-facher Anstieg von wenigen Cent einen Alarm auslöst.

Das richtige Objektiv zur Erkennung von unerwünschtem Verhalten 

Nach all den oben beschriebenen Analysen sehen Administratoren eine Ansicht der Konten, die von ihrem eigenen Verhaltensmuster abgewichen sind – alles Normale wird herausgefiltert. Diese gefilterte Ansicht bildet einen Feed mit auffälligem Verhalten.

Dieses Verhalten ist schwer zu erkennen, weil das Signal weder in einem neuen Tool noch in einer blockierten Aktion liegt. Vielmehr nutzt ein vertrauenswürdiges Konto seine bereits erlaubten Möglichkeiten plötzlich intensiver. Das kann ein Servicekonto sein, das auf einmal deutlich teurere Sitzungen ausführt, oder eine Person, deren Nutzung weit über das eigene Normalniveau hinaus ansteigt und über mehrere Tage erhöht bleibt.

Keiner dieser Fälle verstößt gegen eine Richtlinie, doch alle weichen von einer Verhaltensbaseline ab. Eine plötzliche Abweichung vom eigenen Nutzungsmuster eines Kontos ist oft das erste sichtbare Anzeichen dafür, dass Zugangsdaten kompromittiert wurden oder ein Agent außer Kontrolle gerät.

User Insights beurteilt weder die Absicht hinter einem Verhalten noch blockiert es Nutzer. Stattdessen zeigt es Administratoren die wenigen Konten, die begonnen haben, sich ungewöhnlich zu verhalten, damit jemand die nächste Frage stellen kann. Manchmal führt das zu einer echten Untersuchung. Manchmal bedeutet es lediglich, dass jemand etwas Anleitung braucht – etwa der Entwickler, der bei jedem Prompt die gesamte Codebasis einfügt, obwohl ein kleiner Ausschnitt genügen würde. 

Was kommt als Nächstes? 

Wir helfen Ihnen, von der Kostenkontrolle zur Kostenoptimierung überzugehen

Sobald Sie ein Budget festgelegt haben, stellt sich als Nächstes ganz natürlich die Frage: Wie lässt sich eine vergleichbare Ausgabequalität zu geringeren Kosten erzielen? Nicht jede Anfrage benötigt ein Frontier-Modell. Eine Zusammenfassungsaufgabe oder eine einfache Codevervollständigung kann auch auf einem günstigeren Modell ausgeführt werden, ohne dass die Qualität nennenswert leidet.

Wir entwickeln derzeit ein aufgabenspezifisches Smart Routing, bei dem AI Gateway eingehende Anfragen analysiert und sie an das Modell weiterleitet, das das beste Ergebnis zu den niedrigsten Kosten liefert. Auf Organisationsebene können Sie erkennen, wo sich durch das Routing auf effizientere Modelle die größten Einsparungen erzielen lassen. Das aufgabenbasierte Smart Routing befindet sich derzeit in aktiver Entwicklung. Weitere Informationen folgen, sobald die Funktion ausgereift ist.

Wir helfen Ihnen zu verstehen, wie KI eingesetzt wird

Die Anomalieerkennung erkennt, wenn ein Konto sein normales Verhaltensmuster verlässt, erklärt jedoch nicht die Ursache. Administratoren müssen deshalb weiterhin die Protokolle durchsuchen und zusammensetzen, was geschehen ist. Diese Lücke zu schließen, ist unser nächster Schwerpunkt – beginnend mit der Klassifizierung des tatsächlichen Datenverkehrs.

Wir entwickeln eine Prompt-Klassifizierung, die Anfragen in Kategorien wie Programmierung, Schreiben und weitere Bereiche einordnet. Diese Kategorien liefern genau den Kontext, der bei fast allen anderen Signalen fehlt. Ein Ausgabenanstieg im Bereich „Programmierung“ kann bei einem Entwickler akzeptabel sein; derselbe Anstieg in einer Kategorie, die dieses Konto noch nie genutzt hat, wäre dagegen auffällig. Durch die Klassifizierung sieht eine Organisation nicht nur, wie viel KI sie nutzt, sondern auch, wofür sie KI einsetzt. 

Damit beantwortet die Funktion auch die Frage, die vielen dieser Diskussionen zugrunde liegt: Wird KI tatsächlich für die vorgesehenen geschäftlichen Aufgaben eingesetzt? Sobald geschäftlicher Datenverkehr von allem anderen getrennt ist, wird auch die private Nutzung sichtbar. Von außen betrachtet sehen ein Mitarbeitender, der während der Arbeitszeit einem Nebenerwerb nachgeht, und jemand, der unauffällig Daten über ein Modell nach außen überträgt, zunächst gleich aus. Zwischen beiden zu unterscheiden, ist entscheidend, um Insider-Risiken zu erkennen. 

Sobald Ihr KI-Traffic durch das AI Gateway läuft, erhält ein Administrator bei jeder neuen Kategorie von Risiko- oder Effizienzsignalen eine zusätzliche Information ohne zusätzlichen Aufwand.

Erste Schritte

User Insights steht ab sofort allen AI-Gateway-Kunden ohne Aufpreis allgemein zur Verfügung. Wer bereits Traffic durch AI Gateway leitet, findet die Funktion direkt im Dashboard. Wenn Sie AI Gateway bereits verwenden, können Sie diese Ansicht also sofort nutzen. 

Falls Sie noch keines erstellt haben, erstellen Sie ein Gateway und beginnen Sie, Anfragen an jedes Modell in unserem Katalog zu senden. 

Wir empfehlen, AI Gateway hinter Cloudflare Access zu betreiben, das jetzt als Open Beta verfügbar ist. Die Ansichten für Ausgaben und Anomalien funktionieren auch ohne Access, doch erst die Verknüpfung mit einer Identität macht aus einer anonymen Konto-ID einen konkreten Namen, auf den Sie tatsächlich reagieren können. Beginnen Sie im Monitoring-Modus, um zunächst Ihre Baselines kennenzulernen, bevor Sie Richtlinien durchsetzen.

Wir möchten hören, wie Sie heute mit KI umgehen. Beteiligen Sie sich an der Diskussion auf Discord oder wenden Sie sich an Ihr Kundenteam.