Svelare i comportamenti buoni e cattivi su Internet agentico

Internet non è una singola corsia di traffico. Per molto tempo, la regola generale nella sicurezza web è stata che i bot sono cattivi, mentre gli esseri umani sono buoni. Naturalmente, siamo ben oltre questa generalizzazione. Gli esseri umani possono essere fraudolenti e i bot possono essere utili a diversi livelli. I proprietari dei siti web desiderano attivamente che una certa quantità di traffico automatizzato interagisca con i nostri siti per rendere Internet funzionale e facilmente reperibile.

A complicare ulteriormente le cose, il confine tra "umano" e "bot" si sta facendo sempre più labile. Ora abbiamo un tipo di traffico "ibrido" in cui una singola sessione passa da umana ad agentica e viceversa. Pensa a un utente che naviga in un negozio e poi affida il processo di pagamento a un assistente virtuale.

Come fanno dunque i proprietari di siti web a gestire questo tipo di complessità? Ciò che conta qui è valutare i comportamenti. Questo comportamento costituisce un abuso? È dannoso? Quali sono i rischi in questo caso e posso fidarmi di questo visitatore in base alle sue azioni? Per risolvere questo problema è necessario andare oltre i controlli statici e puntuali. Per valutare la fiducia è necessario analizzare i comportamenti in modo continuativo.

In questo post, condivideremo uno sguardo approfondito sulla strategia del team Web Integrity & Trust (che si occupa di bot e frodi) per individuare e analizzare comportamenti, sia positivi che negativi, e fornire strumenti per aiutare i proprietari dei siti web ad affrontare le sfide emergenti nel mutevole Internet agentico. Condivideremo anche i risultati relativi al traffico agentico dal lancio di Precursor e una simulazione in cui potrai vedere come i tuoi movimenti del cursore verrebbero valutati (come umani o da bot), oltre ad alcuni interessanti aggiornamenti di lancio previsti a breve.

Definire rischio e fiducia

Parliamo della distinzione tra rischio e fiducia, così come ne parliamo all'interno dei team di Cloudflare che si occupano del rilevamento dei bot. Questi due concetti vengono spesso considerati come poli opposti di un continuum. In Cloudflare, li consideriamo valori indipendenti, ma reciproci. La fiducia è il fattore essenziale per prendere decisioni consapevoli su come gestire il traffico. 

Il rischio indica la probabilità che qualcosa, come una richiesta o un'azione, si riveli dannoso, ed è spesso effimero. La fiducia, tuttavia, si costruisce nel tempo ed è basata sulla reputazione.

Possiamo illustrarlo con un esempio tratto dalla vita reale: immagina di stare guardando la televisione a casa la sera, quando improvvisamente senti suonare ripetutamente il campanello. Oltre ad essere fastidioso, questo comportamento è strano. I frenetici squilli del campanello a tarda notte sono allarmanti.

Dai un'occhiata alla telecamera di sicurezza e vedi che a suonare il campanello è il tuo migliore amico che abita accanto a te. Certo, ti fidi del tuo migliore amico e scommettiamo che lo lasceresti entrare.

In questo esempio, non sarebbe sufficiente dire: "Rifiuta chiunque suoni il mio campanello di notte" o "Rifiuta chiunque suoni il mio campanello più di 10 volte". Ancora una volta, la fiducia è l'ingrediente essenziale.

Tornando al traffico su Internet, la strategia che adottiamo nello sviluppo di prodotti per contrastare bot e frodi si concentra sulla creazione di un intero ecosistema basato sulla fiducia. Il nostro obiettivo è fornire agli amministratori dei siti gli incentivi e gli strumenti necessari per promuovere comportamenti che rendano Internet più sicuro per tutti: partendo dal blocco delle attività dannose, fino ad arrivare a incoraggiare la partecipazione a un Internet più sicuro.

Comportamenti virtuosi, fondati sulla trasparenza

Partendo dall'alto: cosa si intende per buon comportamento? Possiamo trarre chiari esempi dai bot e dagli agenti verificati all'interno di BotBase. Il mese scorso abbiamo annunciato una tassonomia pragmatica aggiornata per i bot affidabili che monitoriamo nel nostro sistema, , riducendo la definizione di "Verificato" a due elementi: 1) dichiararsi onestamente e 2) non abusare della fiducia guadagnata. 

La trasparenza tra il proprietario di un sito e l'operatore di un bot consente una relazione simbiotica: i proprietari dei siti possono specificare quali comportamenti e utilizzi dei dati desiderano consentire sui propri siti web, e agli operatori dei bot può essere concesso l'accesso più facilmente. La trasparenza favorisce la fiducia nel rapporto; se non hai nulla da nascondere, dichiarare la tua identità dovrebbe ridurre gli attriti con i siti che desiderano consentire i tuoi comportamenti.

BotBase non è pensato solo per dichiarare "chi è buono". È destinato a essere un elenco di tutti i bot e agenti conosciuti e fornire al contempo informazioni dettagliate. Rispetto alla nostra precedente directory di bot, che includeva solo bot noti per essere affidabili, BotBase è in grado di tracciare anche bot e agenti meno che affidabili. Perché? Poiché i nostri sistemi tracciano e convalidano i comportamenti degli utenti noti per essere affidabili, disponiamo degli strumenti necessari per identificare i casi in cui queste aspettative non vengono soddisfatte. Se abusi della fiducia sulla rete Cloudflare, non dovresti essere autorizzato facilmente, quindi non sarai verificato.

Comportamenti scorretti: palesi, subdoli e tutto ciò che sta nel mezzo

Qualche settimana fa abbiamo annunciato​ Precursor, un sistema continuo lato client per rilevare anche il traffico di bot sottilmente inumano che può passare inosservato se si valutano solo i segnali di rete. Quando un cliente abilita Precursor, il rilevamento JavaScript viene iniettato tramite la CDN, quindi non è necessario sedersi al computer e capire dove o come rieseguire questi rilevamenti. Inoltre, Precursor valuta il comportamento dell'utente continuamente durante tutta la sessione, quindi niente più scorciatoie gratuite per il traffico abusivo che è riuscito a superare i controlli lato client e lato browser anche solo una volta.

Applicando il nostro framework di rischio e fiducia a questi rilevamenti lato client, possiamo sottolineare che i CAPTCHA o gli ostacoli una tantum sono basati sul rischio, il che significa che mancano di contesto. D'altro canto, la verifica tramite segnali comportamentali si basa sulla fiducia, poiché può cogliere più indizi contestuali dall'intera sessione utente. Precursor è lo strumento che ci permette di analizzare questo comportamento. In sintesi, Precursor è così potente perché:

1. Fornisce rilevamento basato sulla fiducia durante l'intera sessione utente.
2. Fa aumentare i costi per gli sviluppatori di bot per replicare il comportamento umano su una timeline multipagina.

Rendendo economicamente svantaggioso per gli sviluppatori di bot eludere questi rilevamenti, vinciamo la sfida avversaria.

Cosa abbiamo imparato dal lancio? Osservando un periodo di sole 24 ore al momento della stesura di questo blog, possiamo notare 206 milioni di eventi di valutazione Precursor, distribuiti su 73.438 zone sulla rete Cloudflare.

Nei dati possiamo individuare degli schemi che rivelano elementi che avevamo sospettato al momento dell'avvio del sistema di rilevamento, ma che ora possiamo convalidare su decine di migliaia di domini:

• Spesso, durante una sessione, si verificano comportamenti sospetti che i sistemi di rilevamento istantaneo non sarebbero in grado di individuare.
• Il comportamento spesso passa da umano ad agente e viceversa nel corso di una sessione. In questi casi, è importante comprendere l'intento in modo che i proprietari del sito non blocchino i flussi utente che effettivamente desiderano.
  • Ciò evidenzia l'importanza di un sistema di classificazione dei bot che consenta ai proprietari di siti web di gestire il traffico in base al caso d'uso, allo scopo e all'utilizzo dei dati. È proprio per questo motivo che abbiamo dato priorità agli aggiornamenti della tassonomia di BotBase.

Per chi fosse curioso di saperne di più su come funziona Precursor, abbiamo condiviso un'anteprima: come i segnali che analizziamo ci hanno dimostrato che errare è umano, nel nostro post del blog di annuncio. Oggi facciamo un ulteriore passo avanti: offriamo a chiunque su Internet una demo interattiva che simula il modo in cui Precursor traccia i movimenti del cursore.

Precursor Trace è ora attivo e mostra come valuteremmo i movimenti del tuo cursore utilizzando parte del meccanismo di rilevamento di Precursor. Qui puoi vedere se stai accelerando o correggendo, il ritmo e la consistenza del movimento del cursore e molto altro ancora: tutte cose a cui probabilmente non hai mai pensato quando interagisci con un computer. Provalo!

Adaptive Intelligence arriverà presto

I motori di rilevamento dei bot di Cloudflare possono produrre risultati diversi quando valutano se una determinata richiesta è automatizzata o meno. Per le richieste considerate automatizzate, la valutazione può essere 1) sicuramente automatizzata, sulla base di metodi comprovati e deterministici o di impronte digitali dei bot, oppure 2) probabilmente automatizzata, sulla base del punteggio predittivo di Bots ML di Cloudflare.

Storicamente, Bots ML è stato aggiornato in versioni, il che significa che abbiamo annunciato ogni nuova versione del modello come lancio di un prodotto. Questo ritmo non funziona quando i bot si adattano nell'arco di ore o addirittura minuti.

Adaptive Intelligence, un motore di rilevamento completamente nuovo, è diverso da qualsiasi altra cosa che abbiamo sviluppato finora nell'ambito del machine learning per bot. Il modello stesso è adattivo. Ha imparato da tutto ciò che abbiamo visto in passato, ma soprattutto, continuerà ad apprendere e ad autoregolarsi in base a ciò che vede. Adaptive Intelligence si aggiornerà automaticamente in base a un'ampia gamma di modelli di traffico che identifichiamo, dai comportamenti positivi a quelli negativi, e i clienti non dovranno più aggiornare formalmente a una nuova versione del modello per poter usufruire delle più recenti funzionalità di rilevamento predittivo dei bot. 

A breve tutti i clienti di Bot Management avranno accesso ad Adaptive Intelligence: resta sintonizzato per l'annuncio del lancio, in arrivo a breve.

Andare oltre il determinismo per influenzare il comportamento dei bot

Finora ci siamo concentrati sul punto di vista di Cloudflare: strategia, rilevamento e tassonomia. Tutto ciò consente a Cloudflare di fornire ai proprietari di siti web gli strumenti necessari per impostare le politiche di traffico desiderate per i propri siti. Concentrandoci sul punto di vista del proprietario del sito web, vogliamo cogliere l'occasione per discutere alcune mitigazioni avanzate che consentono ai proprietari dei siti web di influenzare direttamente il comportamento dei bot.

Con tecniche di mitigazione più evidenti, ci troviamo di fronte a quello che abbiamo soprannominato il "problema degli antibiotici per i bot". Inviare sempre ai bot una risposta deterministica (come un blocco 403) facilita a un bot sviluppatore malevolo la possibilità di sondare, osservare e decodificare le tue difese.

Lo sappiamo, quindi stiamo progettando delle misure di mitigazione specificamente pensate per limitare i bot, con approcci diversi per i bot dannosi rispetto ai bot benigni. Possiamo suddividerle in tre diversi approcci:

Approccio 1: imprevedibilità e azioni casuali. Applicare risposte casuali (tra blocco, richiesta di verifica o autorizzazione) al traffico sospetto automatizzato interrompe la logica di ritentativo automatico e il fingerprinting del bot.

Approccio 2: AI Labyrinth, una risposta difensiva che intrappola i bot non autorizzati in un labirinto infinito di pagine web generate dall'IA. È possibile sprecare le risorse di calcolo e di scansione dei bot dannosi utilizzando il depistaggio. All'interno di AI Labyrinth, i proprietari dei siti avranno a disposizione tre opzioni, a seconda delle loro preferenze:

• Labirinto: genera una rete infinita di pagine collegate che i bot possono seguire.
• Riepilogo: fornisce ai crawler un riepilogo di una pagina generato da un LLM che sembra reale ma è completamente inutile come dato di addestramento per l'IA.
• Veleno: fornisce contenuti deliberatamente falsi (come prezzi o inventario falsi) a un bot, inquinando i dati che raccoglie per l'addestramento dell'IA.

Approccio 3: accodamento per i bot buoni Non tutto il traffico agentico è negativo; la gestione delle code regola il flusso di traffico automatizzato legittimo (come gli agenti di acquisto diretti dall'utente) senza negare completamente il servizio.

Queste misure di mitigazione avanzate, specifiche per i bot, saranno implementate verso la fine dell'anno e consentiranno al proprietario del sito web di scegliere il livello di severità desiderato per le proprie misure di mitigazione.

Sappiamo inoltre che una difesa efficace è predittiva, ovvero in grado di autoapprendere e correggere la rotta senza bisogno di coinvolgere più esperti di sicurezza in una chiamata per impostare una soluzione reattiva che tenga conto dell'ultimo attacco furtivo. Potrebbe trattarsi di un sistema di regole "usa e getta", in cui l'insieme delle regole è di natura dinamica. Questo è voluto: se gli attacchi si evolvono costantemente, anche le difese devono farlo. Ecco perché ci impegniamo a mantenere sia il rilevamento che la mitigazione un passo avanti.

Crea l'ecosistema di fiducia che fa al caso tuo

Chiunque può adottare misure per definire come gli agenti automatizzati interagiscono con la propria infrastruttura. 

Alcune cose da provare:

• Attiva Precursor
• Sperimenta con Precursor Trace
• Esplora BotBase

Abbandonando i controlli statici e puntuali e adottando una valutazione continua dell'affidabilità, riduciamo la necessità di combattere ripetutamente gli operatori di bot. Se non stai già utilizzando il ​rilevamento bot di Cloudflare, provalo e crea l'ecosistema di fiducia più adatto alle tue esigenze.