Détecter les comportements indésirables de l’IA grâce aux analyses de données sensibles à l’identité

Lorsque vous consultez votre facture d’IA, il peut être difficile de déterminer si quelque chose ne va pas. Vous devez disposer d’une base de référence pour pouvoir observer ce qui a changé, qu’il s’agisse d’un agent qui a dépassé les limites établies ou d’un utilisateur humain dont la consommation a soudainement été multipliée par dix. La capacité d’identifier ces changements est ce qui vous permet de lancer une enquête ; jusqu’à présent, toutefois, ces changements se sont avérés difficiles à détecter.

Savoir qui utilise l’IA et à quelles fins constitue l’un des principaux défis auxquels les entreprises sont actuellement confrontées. Un rapport d’étude publié par l’université de Stanford a révélé que 59 % des entreprises considéraient les lacunes de connaissances comme leur principal obstacle à une gouvernance responsable de l’IA. 

Il s’agit là d’un problème de sécurité autant que d’un problème financier. Pour résoudre ces problèmes, deux éléments sont nécessaires : une identité vérifiée à chaque requête (afin qu’un pic d’activité soit associé à un nom précis) et une représentation de ce qui constitue un comportement normal pour cette identité. Aujourd’hui, nous annonçons les deux.

La passerelle AI Gateway sensible à l’identité avec Cloudflare Access est désormais disponible en version bêta ouverte, et User Insights est proposé en disponibilité générale à chaque client de la passerelle AI Gateway, sans coûts supplémentaires. Ensemble, ces services transforment le trafic déjà acheminé à travers AI Gateway en base de référence comportementale pour chaque utilisateur et chaque agent qui l’utilisent, et identifient ceux qui s’écartent de ces valeurs.

Qu’est-ce qu’AI Gateway ?

AI Gateway est le plan de contrôle central pour l’ensemble de vos utilisations de l’IA. Chaque application et chaque équipe ne font plus directement appel aux modèles d’OpenAI, d’Anthropic, de Google ou de Workers AI ; à la place, les requêtes transitent d’abord par AI Gateway, ce qui vous permet de centraliser l’observation, la sécurisation et la gestion de l’ensemble de votre utilisation de l’IA.

Le service s’intègre aux applications que vous développez et aux outils de codage que vos développeurs utilisent déjà au quotidien. Routez les cadres d’exécution (« harness ») d’agents tels que Claude Code, Codex et GitHub Copilot via la passerelle AI Gateway pour leur imposer les mêmes règles de visibilité et de contrôle que le reste de vos outils.

Passerelle AI Gateway sensible à l’identité

L’intégration d’AI Gateway et de ​Cloudflare Access vous permet de placer un ​domaine personnalisé devant votre passerelle et de le protéger avec Access, comme n’importe quelle autre application. Vous pouvez ainsi :

• Vous authentifier avec n’importe quel fournisseur d’identité prenant en charge le protocole SAML, comme Okta ou Entra, ce qui élimine la nécessité de générer et de transmettre des clés API Cloudflare.
• Définir des politiques régissant précisément les utilisateurs et agents autorisés à accéder à votre passerelle.
• Transmettre des requêtes vers un nom d’hôte « propre », comme ai.example.com, sans inclure d’identifiant de compte ni d’identifiant de passerelle dans l’URL.

Chaque requête authentifiée contient désormais l’identité de l’utilisateur obtenue depuis Access. AI Gateway ajoute l’identifiant d’utilisateur Access vérifié aux métadonnées de la requête, sous la forme cf.user_id, ce qui vous permet de filtrer les journaux, les analyses de données et les dépenses en fonction de l’utilisateur humain qui a effectivement émis la requête.

Associée à des ​limites de dépenses, cette identité devient un outil de gestion budgétaire. Puisque que chaque requête est désormais associée à un utilisateur réel, vous pouvez définir des limites de dépenses par utilisateur : attribuez à chaque utilisateur sa propre enveloppe budgétaire, puis bloquez les requêtes ultérieures ou basculez vers un modèle moins coûteux lorsque l’utilisateur atteint cette limite. Vous pouvez ainsi en finir avec les factures inattendues et les clés API partagées qui dissimulent les dépenses de chaque utilisateur et agent.

C’est précisément à ce problème que s’est heurté Flexport, l’un des primo-adoptants de notre service.

« Le partage des clés API rend pratiquement impossible l’identification des utilisateurs d’un service IA ou l’application des règles d’accès que nous avons déjà mises en place pour nos collaborateurs, », explique Max Baumgarten, Staff Security Engineer de Flexport. « Déployer Cloudflare Access en amont de la solution AI Gateway permet d’attribuer une identité authentifiée à chaque requête et nous permet d’appliquer nos politiques d’identité existantes au niveau de la passerelle. Nos équipes peuvent adopter des outils IA sans devoir créer un système d’authentification distinct pour chaque client. »

Dans un avenir proche, vous pourrez utiliser les groupes du fournisseur d’identité de vos utilisateurs pour définir des limites de dépenses ou contrôler les modèles auxquels un groupe peut accéder. Vous pourrez, par exemple, permettre à votre équipe chargée de l’apprentissage automatique (Machine Learning) d’accéder à des modèles ultra-performants, plafonner les dépenses de votre équipe d’assistance ou attribuer un budget à tous les utilisateurs travaillant sur un projet spécifique – et cela, en fonction des groupes que vous gérez déjà dans votre fournisseur d’identité.

Le nouvel onglet User Insights

AI Gateway comporte désormais un onglet intitulé User Insights. User Insights analyse le trafic transitant par votre passerelle et génère un profil comportemental pour chaque compte. Le service analyse le comportement habituel de chaque compte, identifie les comptes qui s’en écartent et fournit les informations contextuelles nécessaires pour différencier un agent malveillant d’un ingénieur très occupé. Il fonctionne avec le trafic qui transite déjà par votre passerelle, et ne nécessite donc aucune configuration ultérieure.

User Insights permet de suivre les coûts, et notamment les sources de gaspillage, à l’image des faibles taux de réussite de mise en cache et des fenêtres contextuelles surdimensionnées. De nombreux outils le font déjà, mais ce qu’ils ne font pas, c’est vous indiquer si un compte se comporte normalement. C’est sur cet aspect que nous avons choisi de nous concentrer, parallèlement à la maîtrise des coûts. 

Établir une base de référence pour chaque compte : utilisateurs humains et agents

Au fil du temps, chaque compte laisse une empreinte comportementale, qu’il s’agisse d’un utilisateur humain ou d’un agent. Un agent qui publie une synthèse des tickets toutes les trois heures est rigoureux et constant. Un utilisateur humain est plus désordonné : ses prompts sont variés, ses intervalles sont irréguliers et il consacre beaucoup de temps à la résolution de problèmes complexes. Ces deux scénarios d’utilisation sont légitimes ; un même écart peut donc être considéré comme du bruit dans un cas et comme un signal pertinent dans l’autre.

Dans User Insights, nous commençons par attribuer un score aux sessions, et non aux requêtes individuelles. Ici, les seuils absolus ne sont pas adaptés ici : une augmentation de 500 USD chez un utilisateur intensif peut être normale, tandis qu’une session à 50 USD chez un agent qui dépense habituellement 5 USD représente un changement considérable qui pourrait autrement passer inaperçu. Nous comparons donc chaque session à l’historique du compte, en utilisant le coût par session au 95e centile (p95) sur les 30 derniers jours. Cela nous donne une idée du fonctionnement habituel du compte, et toute valeur supérieure à deux fois le p95 du compte constitue un indicateur fort d’un comportement anormal.

L’analyse suivante explique comment nous avons obtenu ces chiffres.

Figure 1 : Détection des anomalies de coût par session

Comment lire le graphique ci-dessus 

Ce graphique représente des sessions réelles, issues de notre trafic interne. Chaque point correspond à une session distincte (représentée sur une échelle logarithmique) :

• Axe X (« Session Cost ») : coût total en dollars.
• Axe Y (« x User p95 ») : dépassements de la base de référence de l’utilisateur pendant la session.

Les deux lignes de seuil en pointillés permettent de répartir les sessions en quatre catégories :

• En haut à droite (étoiles ★) : dépasse à la fois le double de la base de référence p95 de l’utilisateur et le plafond p99 du compte. Il s’agit de pics relatifs importants, qui correspondent à des dépenses anormales significatives et déclencheront une alerte. 
• En haut à gauche : pic relatif important (double de la valeur p95 de l’utilisateur), inférieur au plafond p99 du compte. Ce comportement n’est pas pris en compte, afin d’éviter le déclenchement d’alertes sur de faible variations du montant en dollars.
• En bas à droite : dépense absolue élevée, mais conforme à l’utilisation généralement intensive de cet utilisateur. Ce comportement est, lui aussi, considéré comme normal et n’est donc pas pris en compte.
• En bas à gauche : l’activité est normale et se situe largement dans les limites des deux bases de référence.

Figure 2 : Répartition des coûts par session au niveau du compte

Cet histogramme (Figure 2) cartographie le coût de chaque session à travers l’entreprise, afin d’établir un plafond au niveau du compte :

• Utilisation habituelle : la grande majorité des sessions coûtent bien moins de 10 USD, le 95e centile s’établissant à 20 USD.
• p99 du compte (200 USD) : 1 % seulement de toutes les sessions dans l’ensemble de l’entreprise atteignent ou dépassent 200 USD.

Alors, pourquoi avons-nous choisi le p99 ? Établir notre plafond absolu en dollars au p99 du compte permet de définir un seuil significatif. Cela garantit qu’une anomalie n’est pas un simple changement soudain pour un utilisateur particulier, mais qu’elle figure également parmi les 1 % des sessions les plus coûteuses dans l’ensemble de l’entreprise.

Figure 3 : Historique d’une session d’utilisateur unique

Les bases de référence ne sont pas statiques. À mesure que les habitudes d’un compte évoluent, son p95 glissant (ligne verte) et son seuil 2x (ligne orange) changent en conséquence ; ainsi, une alerte reflète toujours un comportement récent, plutôt qu’une valeur établie une fois pour toutes. Nous appliquons également un seuil minimal en dollars : une augmentation soudaine doit être non seulement statistiquement inhabituelle, mais aussi suffisamment importante pour justifier l’examen par un administrateur. Ce seuil minimal en dollars est ce qui permet d’éviter le déclenchement d’une alerte lorsque le compte d’un micro-utilisateur affiche une augmentation de 500 pour cent, dont le montant ne représente toutefois que quelques cents.

Le prisme idéal pour détecter les comportements indésirables 

Au terme de toutes les analyses ci-dessus, les administrateurs ont sous les yeux une vue d’ensemble des comptes qui se sont écartés de leur propre modèle de consommation, après filtrage de toutes les données normales. Cette vue filtrée représente un flux de comportements indésirables.

Ce comportement est difficile à détecter, car le signal ne provient jamais d’un nouvel outil ni d’une action bloquée. Il s’agit simplement d’un compte de confiance qui intensifie l’utilisation de ses autorisations existantes. Il peut s’agir d’un compte de service qui commence soudainement à exécuter des sessions plus coûteuses, ou d’un utilisateur humain dont la consommation dépasse largement son modèle habituel et se stabilise à ce niveau pendant plusieurs jours.

Aucune de ces actions n’enfreint une politique, mais toutes s’écartent d’une base de référence comportementale. Un écart soudain par rapport à la consommation habituelle d’un compte est souvent le premier signe observable d’une compromission d’identifiants ou d’un agent présentant une défaillance.

User Insights ne détermine pas l’intention et ne bloque personne ; le service présente simplement à un administrateur les quelques comptes qui ont commencé à afficher un comportement inhabituel, afin que celui-ci puisse poser les questions pertinentes. Parfois, cela mène à une véritable enquête ; et parfois, cela signifie simplement qu’un utilisateur humain a besoin d’être accompagné (comme ce développeur qui colle l’intégralité d’une base de code dans chaque prompt, alors qu’un extrait serait suffisant). 

Les prochaines évolutions 

Nous vous aiderons à évoluer du contrôle des coûts à l’optimisation des coûts

Une fois que vous avez défini un budget, la question qui se pose naturellement est, comment obtenir une qualité de production équivalente à moindre coût ? Toutes les requêtes ne nécessitent pas un modèle ultra-performant. Une tâche de synthèse ou une simple complétion de code peut être exécutée sur un modèle moins coûteux, sans altération notable de la qualité.

Nous développons un routage intelligent basé sur des tâches, dans lequel AI Gateway analyse la requête entrante et la redirige vers le modèle qui offre le meilleur résultat au moindre coût. Au niveau de l’entreprise, vous pourrez identifier les domaines dans lesquels vous pouvez réaliser le plus d’économies en routant les requêtes vers des modèles plus efficaces. Le routage intelligent basé sur les tâches est en cours de développement ; nous vous en dirons davantage au fur et à mesure que le projet avancera.

Nous vous aiderons à comprendre comment l’IA est utilisée

La détection des anomalies indique qu’un compte s’est écarté de son modèle habituel, mais n’explique pas pourquoi. Un administrateur doit encore examiner les journaux et reconstituer le fil des événements. Notre prochaine priorité est de combler cette lacune, et cela commence par déterminer la nature exacte du trafic.

Nous développons un système de classification des prompts qui sépare les requêtes en catégories telles que le codage, la rédaction et d’autres. Ces catégories fournissent le contexte qui fait défaut dans presque tous les autres signaux. Une hausse soudaine des dépenses dans la catégorie « codage » sur le compte d’un ingénieur peut être acceptable, mais cette même augmentation ne l’est pas si elle concerne une catégorie que ce compte n’a jamais utilisée auparavant. La catégorisation peut permettre à une entreprise de comprendre non seulement l’intensité de son utilisation de l’IA, mais également les fins auxquelles elle l’utilise. 

Elle répond également à la question sous-jacente à la plupart de ces discussions : l’utilisation de l’IA est-elle conforme à sa destination initiale ? Une fois que le trafic professionnel a été séparé du reste du trafic, l’utilisation à des fins personnelles devient clairement visible. De l’extérieur, la différence entre une personne qui gère une activité parallèle pendant ses heures de travail et un utilisateur qui extrait discrètement des données de l’entreprise par l’intermédiaire d’un modèle n’est pas perceptible. Or, il est essentiel de les distinguer pour détecter les risques internes. 

Lorsque votre trafic IA transite par AI Gateway, chaque nouvelle catégorie de signal de risque ou d’efficacité constitue un avantage supplémentaire pour l’administrateur, sans nécessiter de configuration supplémentaire.

Lancez-vous

User Insights est proposé en disponibilité générale à chaque client de la passerelle AI Gateway, sans coûts supplémentaires. Le service est déjà disponible depuis le tableau de bord pour tous les utilisateurs qui acheminent du trafic via la passerelle. Aussi, si vous routez déjà votre trafic via AI Gateway, cette vue est dès maintenant à votre disposition. 

Si vous ne l’avez pas encore fait, créez une passerelle et commencez à transmettre des requêtes à n’importe quel modèle de notre catalogue. 

Nous vous recommandons de déployer AI Gateway derrière Cloudflare Access, désormais disponible en version bêta ouverte. Les vues des dépenses et des anomalies fonctionnent sans cela, mais l’association d’une identité permet de transformer un identifiant de compte anonyme en un nom avec lequel vous pouvez réellement agir. Commencez par le mode de surveillance pour établir vos bases de référence avant de mettre en œuvre une quelconque politique.

Nous voulons savoir comment vous gérez l’IA aujourd’hui. Venez rejoindre la conversation sur ​Discord ou contactez l’équipe chargée de votre compte.