Individuare comportamenti anomali dell'IA con analisi sensibili all'identità

Quando si considerano i costi dell'IA, può essere difficile capire se c'è qualcosa che non va. Prima di tutto, devi stabilire una baseline per poter vedere cosa è cambiato, che si tratti di un agente impazzito o di un dipendente il cui utilizzo è aumentato di 10 volte. Essere in grado di individuare questi cambiamenti consente di iniziare a indagare e, finora, è stato difficile rilevarli.

Conoscere chi sta facendo cosa con l'IA è una delle sfide chiave che le organizzazioni stanno affrontando in questo momento. Un report della Stanford University ha rilevato che il 59% delle organizzazioni ha dichiarato che le lacune di conoscenza erano il loro maggiore ostacolo alla governance responsabile dell'AI. 

Si tratta di un problema di sicurezza, che ha ripercussioni anche a livello finanziario. La risoluzione di questi problemi richiede due elementi: un'identità verificata per ogni richiesta (in modo da riconoscere ogni singolo picco) e un'immagine del comportamento previsto di tale identità. Oggi annunciamo entrambi.

AI Gateway sensibile all'identità con Cloudflare Access è ora in beta aperta e User Insights è disponibile per ogni cliente AI Gateway senza costi aggiuntivi. Insieme trasformano il traffico che transita già in AI Gateway in una baseline comportamentale per ogni persona e agente che lo utilizza, e identificano quelli che si discostano da questo.

Che cos'è AI Gateway?

AI Gateway è il piano di controllo centrale per tutto il tuo utilizzo dell'IA. Invece di ogni app e team che chiamano direttamente i modelli su OpenAI, Anthropic, Google o Workers AI, le richieste passano prima attraverso AI Gateway, offrendoti un unico punto per osservare, proteggere e gestire tutto il tuo utilizzo dell'IA.

Funziona con le applicazioni che crei e con gli strumenti di codifica in cui i tuoi sviluppatori già operano. Esegui il routing di strumenti basati su agenti come Claude Code, Codex e GitHub Copilot tramite AI Gateway: in questo modo, sfrutteranno la stessa visibilità e gli stessi controlli di tutto il resto.

AI Gateway sensibile all'identità

Con l'integrazione di AI Gateway e Cloudflare Access, puoi associare un dominio personale al tuo gateway e proteggerlo con Access, proprio come qualsiasi altra applicazione. In questo modo, potrai:

• Eseguire l'autenticazione con qualsiasi provider di identità supportato da SAML, come Okta o Entra, eliminando la necessità di generare e distribuire chiavi API Cloudflare.
• Impostare i criteri su chi esattamente può accedere al tuo gateway.
• Inviare richieste a un nome host pulito come ai.example.com, senza ID account o ID gateway nell'URL.

Ogni richiesta autenticata ora porta l'identità dell'utente da Access. AI Gateway aggiunge l'ID utente Access verificato ai metadati della richiesta come cf.user_id, in modo da poter filtrare i registri, le analisi e le spese in base alla persona che ha effettivamente effettuato la richiesta.

Insieme a limiti di spesa, tale identità diventa uno strumento di budget. Poiché ogni richiesta ora porta un utente reale, puoi impostare limiti di spesa per utente: assegnare a ogni utente il proprio bucket di budget, quindi bloccare ulteriori richieste o passare a un modello a costi più contenuti quando lo raggiungono. Niente più fatture a sorpresa e nessuna chiave API condivisa che impedisce la piena tracciabilità dei costi.

Uno dei nostri primi utilizzatori, Flexport, ha riscontrato esattamente questo problema.

"Le chiavi API condivise rendono quasi impossibile stabilire chi stia utilizzando un servizio IA o applicare le regole di accesso che abbiamo già per i dipendenti", afferma Max Baumgarten, Staff Security Engineer presso Flexport. Usare Cloudflare Access per AI Gateway fornisce a ogni richiesta un'identità autenticata e ci permette di utilizzare i nostri criteri di identità esistenti al gateway. I nostri team possono adottare strumenti IA senza creare un sistema di autenticazione separato per ogni cliente".

Nel prossimo futuro, potrai utilizzare i gruppi di provider di identità degli utenti per impostare limiti di spesa o controllare i modelli a cui un gruppo può accedere. Ad esempio, consenti al tuo team di machine learning di accedere a modelli all'avanguardia, limita la spesa del tuo team di supporto o assegna un budget a tutte le persone che lavorano su un progetto specifico, tutto mappato ai gruppi che già gestisci nel tuo provider di identità.

La nuova scheda User Insights

All'interno di AI Gateway, ora è disponibile una scheda chiamata User Insights. User Insights legge il traffico che transita nel tuo gateway e lo trasforma in un quadro comportamentale di ogni account. Apprende come si comporta normalmente ogni account, identifica quelli che si discostano da tale pattern e fornisce il contesto per distinguere un agente non autorizzato da un ingegnere impegnato. Funziona sul traffico che transita già nel tuo gateway, quindi non c'è nulla da configurare.

User Insights monitora i costi, inclusi quelli sprecati, come percentuali di riscontri nella cache basse e finestre di contesto sovradimensionate. Molti strumenti lo fanno già. Quello che non fanno è dirti se un account si comporta normalmente. Ecco su cosa abbiamo scelto di concentrarci, insieme al controllo dei costi. 

Definire una baseline per ogni account: persone e agenti

Ogni account lascia un'impronta comportamentale nel tempo, indipendentemente dal fatto che si tratti di una persona o di un agente. Un agente che riassume i ticket ogni tre ore è preciso e coerente. Una persona è più disordinata, con prompt variegati, tempi irregolari e lunghe sessioni su problemi complessi. Entrambi sono legittimi, quindi la stessa deviazione può risultare inutile per uno e un segnale reale per l'altro.

In User Insights, iniziamo valutando le sessioni, non le singole richieste. Le soglie assolute falliscono qui: un aumento di 500 USD da parte di un utente a uso intensivo di risorse potrebbe essere normale, mentre una sessione da 50 USD da parte di un agente che spende sempre 5 USD è un cambiamento di 10 volte che potrebbe passare inosservato. Quindi confrontiamo ogni sessione con la storia stessa dell'account, utilizzando il 95° percentile (p95) del costo della sessione negli ultimi 30 giorni. Questo ci offre un'idea di come l'account operi normalmente, e qualsiasi valore superiore a 2x del suo p95 è un forte candidato per un comportamento anomalo.

L'analisi seguente delinea come siamo arrivati a queste cifre.

Figura 1: rilevamento delle anomalie nei costi delle sessioni

Come leggere il grafico sopra 

Il grafico traccia sessioni reali dal nostro traffico interno. Ogni punto rappresenta una singola sessione (rappresentata su scale logaritmiche):

• Asse X (costo della sessione): costo totale in dollari.
• Asse Y (x utente p95): quante volte la sessione ha superato la baseline personale dell'utente.

Le due linee di soglia tratteggiate dividono le sessioni in quattro categorie:

• In alto a destra (★ stelle): supera sia due volte la baseline p95 dell'utente che il limite massimo p99 a livello di account. Questi sono picchi relativi elevati che rappresentano spese anomale significative e attiveranno un avviso. 
• In alto a sinistra: elevato picco relativo (due volte il p95 dell'utente), ma al di sotto del limite p99 dell'account. Ignoriamo questo per evitare di segnalare variazioni di lieve entità.
• In basso a destra: spesa assoluta elevata, ma coerente con l'uso tipicamente elevato di questo utente. Anche questo valore viene ignorato, perché considerato come comportamento di routine.
• In basso a sinistra: attività normale ben all'interno di entrambe le baseline.

Figura 2: distribuzione del costo della sessione a livello di account

Questo istogramma (Figura 2) mappa il costo di ogni sessione all'interno dell'organizzazione per stabilire un tetto massimo a livello di account:

• Uso tipico: la stragrande maggioranza delle sessioni costa ben al di sotto di 10 USD, con il 95º percentile a 20 USA.
• p99 dell'account (200 USD): solo l'1% di tutte le sessioni in tutta l'azienda raggiunge o supera i 200 USD.

Allora perché abbiamo scelto p99? Impostare il nostro limite massimo in dollari al p99 dell'account crea un parametro significativo. Garantisce che un'anomalia non sia solo una variazione improvvisa per un utente specifico, ma si classifichi anche tra l'1% delle sessioni più costose di tutta l'organizzazione.

Figura 3: cronologia della sessione singola dell'utente

Le baseline non sono statiche. Man mano che le abitudini di un account cambiano, il suo p95 mobile (linea verde) e la soglia 2x (linea arancione) si spostano di conseguenza, così un avviso riflette sempre un comportamento recente piuttosto che un valore impostato una volta sola. Applichiamo anche una soglia minima in dollari, in modo che un picco debba essere sia statisticamente anomalo, sia tale da giustificare il tempo di analisi di un amministratore. Quel dollaro minimo è ciò che impedisce che un micro-utente attivi un avviso per un aumento di 500 volte di pochi centesimi.

La lente giusta per rilevare comportamenti anomali 

Dopo tutta l'analisi di cui abbiamo discusso sopra, ciò che vedono gli amministratori è una vista degli account che hanno interrotto il loro schema, con tutto ciò che è normale filtrato. Tale vista filtrata è un feed di comportamento anomalo.

Questo comportamento è difficile da individuare perché il segnale non è mai un nuovo strumento o un'azione bloccata. È un account attendibile che fa di più di ciò che è già autorizzato a fare. Potrebbe trattarsi di un account di servizio che improvvisamente inizia a eseguire sessioni più costose, o di una persona il cui utilizzo supera di gran lunga la propria norma e rimane tale per giorni.

Nessuna di queste attiva un criterio, ma tutte infrangono una baseline comportamentale. Una deviazione improvvisa dall'uso proprio di un account è spesso il primo segno osservabile di credenziali compromesse o di un agente che va fuori controllo.

User Insights non determina le intenzioni e non blocca nessuno; al contrario, sottopone all'attenzione di un amministratore i pochi account che hanno iniziato a comportarsi in modo anomalo, affinché sia possibile effettuare le dovute verifiche. A volte ciò conduce a una vera indagine. A volte semplicemente sintomo che qualcuno ha bisogno di addestramento (come lo sviluppatore che inserisce l'intera base di codice in ogni prompt quando basterebbe un frammento). 

E poi? 

Ti assisteremo nel passare dal controllo dei costi all'ottimizzazione dei costi

Una volta stabilito un budget, la domanda naturale successiva è: come si può ottenere la stessa qualità di output a un costo inferiore? Non tutte le richieste richiedono un modello di frontiera. Un'attività di sintesi o un semplice completamento di codice può essere eseguito su un modello a costi più contenuti senza perdita significativa di qualità.

Stiamo sviluppando un routing intelligente basato su attività, in cui AI Gateway analizza la richiesta in arrivo e la instrada al modello che ti offre il miglior risultato al costo più basso. A livello organizzativo, sarai in grado di identificare dove puoi ottenere i maggiori risparmi eseguendo il routing verso modelli più efficienti. Il routing intelligente basato su attività è in fase di sviluppo attivo. Condivideremo ulteriori dettagli man mano che verrà sviluppato.

Ti aiuteremo a capire come viene utilizzata l'IA

Il rilevamento delle anomalie ti segnala che un account ha infranto il suo schema, ma non il motivo. Un amministratore dovrà comunque esaminare i registri e ricostruire cosa è accaduto. Colmare questo divario è la nostra prossima focalizzazione e inizia classificando cosa sia effettivamente il traffico.

Stiamo sviluppando una classificazione dei prompt che ordina le richieste in categorie come codifica, scrittura e altre. Queste categorie sono il contesto mancante da quasi ogni altro segnale. Un aumento delle spese nella categoria "codifica" da parte di un ingegnere potrebbe essere accettabile, ma lo stesso aumento in una categoria che tale account non ha mai previsto non lo è. La classificazione può mostrare a un'organizzazione non solo quanto utilizza l'IA, ma anche per cosa la utilizza. 

Risponde anche alla domanda alla base della maggior parte di queste conversazioni: l'IA viene utilizzata per il lavoro per cui è stata progettata? Una volta separato il traffico aziendale dal resto, l'uso personale diventa visibile. Dall'esterno, qualcuno che gestisce un'attività secondaria durante l'orario aziendale e qualcuno che trasferisce silenziosamente dati attraverso un modello sembrano uguali. Distinguerli è fondamentale per individuare il rischio interno. 

Una volta che il traffico IA transita in AI Gateway, ogni nuova categoria di segnali di rischio o di efficienza è un vantaggio in più per un amministratore senza necessità di configurazione aggiuntiva.

Inizia

User Insights è disponibile al pubblico oggi per ogni cliente di AI Gateway senza costi aggiuntivi. È già presente nella dashboard per chiunque invii traffico attraverso il gateway, quindi se stai già eseguendo il routing tramite AI Gateway, questa vista è disponibile per te. 

Se non l'hai già fatto, crea un gateway e inizia a inviare richieste a qualsiasi modello nel nostro catalogo. 

Consigliamo di integrare AI Gateway in Cloudflare Access, ora in open beta. Le viste delle spese e delle anomalie funzionano senza questo, ma collegare un'identità è ciò che trasforma l'ID di un account anonimo in un nome su cui puoi effettivamente agire. Inizia in modalità di monitoraggio per apprendere le tue baseline prima di applicare qualsiasi cosa.

Vogliamo sapere come stai gestendo l'IA oggi. Partecipa alla conversazione su Discord oppure contatta il team del tuo account.