Crawler AI e siti web: cosa cambia dal 15 settembre 2026 con Cloudflare

I crawler AI stanno cambiando il modo in cui i siti web vengono scoperti, analizzati e utilizzati dai servizi di intelligenza artificiale. Dal 15 settembre 2026 Cloudflare introdurrà nuovi comportamenti predefiniti per distinguere meglio i bot utilizzati per Search, Training e attività Agent.

La novità è particolarmente importante per editori, aziende, ecommerce, webmaster e provider hosting perché fino a oggi il traffico proveniente dai sistemi AI veniva spesso trattato come un’unica categoria.

In realtà un crawler che indicizza una pagina per permetterne la scoperta all’interno di un motore di ricerca AI svolge un’attività molto diversa da un crawler che raccoglie contenuti per addestrare un modello.

Allo stesso modo, un AI Agent che visita una pagina in tempo reale per conto di un utente rappresenta un terzo scenario ancora differente.

Cloudflare ha quindi deciso di separare il traffico automatizzato in base allo scopo effettivo del crawler, dando ai proprietari dei siti la possibilità di applicare politiche differenti.

Vediamo cosa cambia dal 15 settembre 2026 e soprattutto quali conseguenze può avere questa evoluzione per SEO, AEO, hosting, CPU, banda, robots.txt e gestione dei bot.

Crawler AI: perché non sono tutti uguali

Quando si parla genericamente di crawler AI si rischia di raggruppare attività completamente differenti.

Cloudflare distingue ora tre principali comportamenti:

Questa distinzione è importante perché un proprietario può voler essere facilmente individuabile nei motori AI senza necessariamente concedere lo stesso contenuto per l’addestramento di nuovi modelli.

È esattamente il problema che Cloudflare sta cercando di risolvere.

Cosa cambia il 15 settembre 2026

Dal 15 settembre 2026 Cloudflare applicherà nuovi valori predefiniti ai domini che vengono aggiunti alla propria rete.

La configurazione prevista è:

• Search: consentito;
• Training: bloccato sulle pagine che mostrano pubblicità;
• Agent: bloccato sulle pagine che mostrano pubblicità.

Cloudflare utilizzerà i propri sistemi per determinare quali pagine mostrano advertising.

L’idea alla base della scelta è semplice: una pagina finanziata dalla pubblicità dipende dal fatto che un visitatore reale arrivi sul sito e visualizzi la pagina.

Un crawler che utilizza il contenuto senza generare visite può quindi avere un impatto economico molto differente rispetto a un crawler Search che contribuisce alla scoperta e può portare referral.

La documentazione ufficiale è disponibile nella pagina Cloudflare dedicata alle nuove AI bot policies.

Cosa succede ai siti Cloudflare già esistenti

È importante distinguere i nuovi domini da quelli già configurati.

Cloudflare ha annunciato che i nuovi default verranno utilizzati per:

• nuovi clienti;
• nuovi domini aggiunti da clienti esistenti;
• account Free esistenti che non avranno espresso una scelta prima del 15 settembre 2026.

Chi utilizza Cloudflare dovrebbe quindi controllare la propria configurazione prima della data prevista.

Le impostazioni possono essere gestite attraverso:

Security Settings → Configure AI bot policies

Per ognuna delle tre categorie è possibile scegliere tra:

• Allow;
• Block on pages with ads;
• Block on all pages.

La configurazione non è quindi irreversibile: il proprietario del dominio continua a decidere quale traffico consentire.

Il vecchio “Block AI Bots” cambia

Un altro cambiamento importante riguarda l’opzione storica Block AI bots.

Cloudflare indica che questa configurazione verrà progressivamente sostituita dal nuovo sistema basato sulle categorie Search, Agent e Training.

Il precedente controllo era principalmente orientato ai crawler destinati all’addestramento AI.

La nuova configurazione permette invece un controllo molto più granulare.

Questo è particolarmente importante nel caso dei bot multi-purpose.

Attenzione ai crawler AI multi-purpose

Alcuni crawler non svolgono una sola funzione.

Uno stesso bot può essere utilizzato contemporaneamente per:

• Search;
• Training;
• altre funzioni automatizzate.

Dal 15 settembre Cloudflare terrà conto di tutte le finalità associate al crawler.

Se un bot viene classificato contemporaneamente come Search e Training e il proprietario del sito ha scelto di bloccare Training, verrà applicata la regola più restrittiva.

Questo dettaglio merita molta attenzione.

Nel proprio annuncio Cloudflare cita anche crawler multi-purpose associati ai grandi motori di ricerca, tra cui Googlebot, Applebot e BingBot, nel contesto dell’applicazione delle nuove policy.

Ciò non significa che questi crawler vengano bloccati automaticamente su Internet.

Significa invece che, nelle zone Cloudflare dove il proprietario sceglie di bloccare una categoria associata al crawler, la policy più restrittiva può prevalere.

Prima di applicare regole globali è quindi necessario valutare attentamente le conseguenze sulla visibilità del sito.

Crawler AI e SEO: cosa cambia?

Dal punto di vista SEO il concetto fondamentale rimane la discoverability.

Se un motore non può accedere a una pagina, difficilmente potrà comprenderne e indicizzarne correttamente il contenuto.

Bloccare un crawler dedicato esclusivamente al Training è molto diverso dal bloccare un crawler utilizzato anche per Search.

Per questo la nuova distinzione Cloudflare può essere utile: consente di prendere decisioni più precise rispetto a un semplice interruttore globale “blocca tutti i bot AI”.

Una possibile strategia per un sito aziendale orientato alla visibilità potrebbe essere:

• Search → Allow;
• Training → Block;
• Agent → valutare in base al tipo di sito.

Ma non esiste una configurazione universale.

Un editore finanziato dalla pubblicità può avere esigenze molto diverse da un’azienda che vuole comparire il più possibile nelle risposte generate dall’intelligenza artificiale.

Crawler AI e AEO: essere trovati dagli answer engine

L’evoluzione interessa direttamente anche l’Answer Engine Optimization.

L’AEO mira a rendere i contenuti facilmente comprensibili, recuperabili e citabili dai sistemi che producono risposte dirette.

Un crawler Search può contribuire proprio a questo processo.

Bloccare indiscriminatamente ogni bot AI potrebbe quindi ridurre le opportunità di apparire:

• nelle risposte generate da sistemi AI;
• nelle citazioni;
• nei link verso le fonti;
• nei risultati di ricerca assistiti dall’intelligenza artificiale.

Xlogic ha approfondito questo argomento anche nella guida dedicata a Google AI Mode e AI Overviews nel 2026.

Il principio rimane lo stesso: prima di bloccare un crawler bisogna capire quale funzione svolge.

Search, Training e Agent: quale conviene consentire?

La risposta dipende dal modello di business del sito.

Sito aziendale

Per un sito che utilizza il Web principalmente per acquisire clienti, la visibilità può avere un valore molto elevato.

Consentire Search può quindi essere importante.

Il Training può invece essere valutato separatamente.

Sito editoriale con pubblicità

Un publisher guadagna quando l’utente visita direttamente la pagina.

Se un sistema AI utilizza il contenuto senza generare visite, il rapporto tra crawling e valore restituito può diventare molto meno favorevole.

È proprio questo uno degli scenari che Cloudflare dichiara di voler affrontare.

Ecommerce

Un ecommerce potrebbe invece trarre beneficio da Agent capaci di consultare prodotti, prezzi e disponibilità per conto degli utenti.

In futuro gli AI Agent potrebbero diventare un canale diretto di scoperta e acquisto.

Bloccarli completamente potrebbe quindi essere controproducente in alcuni casi.

Crawler AI e hosting: il problema delle risorse

Esiste poi un aspetto meno discusso ma estremamente concreto: ogni crawler genera richieste HTTP.

Se un bot visita migliaia di URL, il server deve comunque gestire quelle richieste.

Il costo può riguardare:

• banda;
• connessioni;
• CPU;
• processi PHP;
• query MySQL;
• I/O;
• cache;
• log del web server.

Il problema aumenta quando vengono scansionate pagine dinamiche non presenti in cache.

Una richiesta a una pagina già memorizzata nella cache di LiteSpeed può avere un costo molto ridotto.

Una richiesta che deve eseguire PHP e query SQL può invece utilizzare molte più risorse.

Cloudflare ha indicato che una parte significativa del traffico dei crawler AI consiste nella nuova scansione di pagine che non sono cambiate.

Bloccare o limitare crawling non necessario può quindi avere anche un effetto positivo sull’infrastruttura origin.

Un crawler può aumentare CPU e carico MySQL?

Sì, soprattutto se il sito non dispone di una cache efficace.

Immaginiamo un crawler che visita:

10.000 URL

Se ogni richiesta avvia:

• un processo PHP;
• decine di query SQL;
• plugin;
• API;
• funzioni dinamiche;

il costo può diventare significativo.

Questo non significa che tutti i crawler AI siano aggressivi.

Significa invece che crawling e hosting devono essere analizzati insieme.

Xlogic ha già affrontato il problema dei bot automatizzati nell’articolo dedicato al web scraping e al consumo delle risorse del sito.

Cache e crawler AI

Una cache efficiente riduce drasticamente il lavoro richiesto all’application layer.

Quando una pagina viene servita direttamente dalla cache:

crawler
↓
web server / cache
↓
HTML già pronto

non è necessario eseguire nuovamente tutta l’applicazione.

Quando invece la cache non è disponibile:

crawler
↓
web server
↓
PHP
↓
database
↓
HTML

il costo della richiesta aumenta.

Un ambiente hosting moderno dovrebbe quindi combinare:

cache + controllo bot + monitoraggio + corretta gestione dei crawler.

I piani Hosting Condiviso Xlogic utilizzano LiteSpeed Enterprise negli ambienti in cui questa tecnologia è prevista dal servizio.

robots.txt basta per bloccare i crawler AI?

No.

Il file robots.txt comunica ai crawler quali aree del sito il proprietario desidera rendere accessibili o meno.

Un esempio classico è:

User-agent: GPTBot
Disallow: /

Il problema è che robots.txt è una direttiva volontaria.

Un bot ben comportato la rispetta.

Un crawler che decide di ignorarla può comunque inviare la richiesta al server.

Cloudflare specifica infatti che, quando è necessario un blocco tecnico reale, bisogna utilizzare AI Crawl Control o le policy applicate a livello edge.

Per approfondire il funzionamento del file puoi leggere la guida Xlogic su come configurare correttamente robots.txt.

Cloudflare Content Signals: search, ai-input e ai-train

Cloudflare sta inoltre estendendo il ruolo del robots.txt attraverso i cosiddetti Content Signals.

Questi segnali permettono di indicare il tipo di utilizzo consentito per il contenuto.

Le categorie sono:

• search → creazione di un indice di ricerca;
• ai-input → utilizzo del contenuto in tempo reale da parte di un modello AI;
• ai-train → addestramento o fine-tuning.

Per esempio:

User-Agent: *
Content-Signal: search=yes, ai-train=no
Allow: /

Questa direttiva esprime l’intenzione di permettere l’indicizzazione per la ricerca ma non l’utilizzo per l’addestramento.

È importante però distinguere anche in questo caso:

Content Signals esprime una preferenza; una regola Cloudflare a livello edge può invece applicare tecnicamente il blocco.

La sintassi e il funzionamento sono descritti nella documentazione Cloudflare sul managed robots.txt.

Cloudflare AI Crawl Control

AI Crawl Control è il sistema Cloudflare progettato per monitorare e controllare l’accesso dei servizi AI ai contenuti di un sito.

È disponibile sui diversi piani Cloudflare e permette di:

• vedere quali crawler AI visitano il sito;
• analizzare il numero di richieste;
• controllare i pattern di crawling;
• bloccare crawler specifici;
• verificare il rispetto del robots.txt;
• creare policy dedicate;
• gestire differenti strategie di accesso.

Cloudflare sta inoltre sperimentando funzioni di monetizzazione come il Pay Per Crawl, attualmente indicate come private beta.

La documentazione ufficiale è disponibile su Cloudflare AI Crawl Control.

Esempi di crawler AI con identità separate

Un’evoluzione interessante riguarda la progressiva separazione degli user agent in base alla funzione.

La directory Cloudflare identifica, ad esempio, crawler differenti per attività differenti.

Nel caso OpenAI troviamo:

• GPTBot;
• OAI-SearchBot;
• ChatGPT-User.

Analogamente Anthropic utilizza identità distinte come:

• ClaudeBot;
• Claude-SearchBot;
• Claude-User.

Questo tipo di separazione permette ai proprietari dei siti di formulare policy più precise rispetto a un singolo crawler utilizzato per qualsiasi scopo.

Cosa dovrebbe fare un webmaster prima del 15 settembre

Chi utilizza Cloudflare dovrebbe effettuare almeno questi controlli:

1. accedere alla dashboard Cloudflare;
2. selezionare il dominio;
3. aprire Security Settings;
4. controllare Configure AI bot policies;
5. verificare Search;
6. verificare Training;
7. verificare Agent;
8. controllare l’eventuale vecchia impostazione Block AI bots;
9. analizzare robots.txt;
10. valutare il traffico AI già presente sul sito.

Non bisogna impostare automaticamente tutto su Block.

La configurazione deve essere coerente con gli obiettivi del sito.

Strategia consigliata per un sito che punta a SEO e AEO

Per un sito che vuole massimizzare la propria visibilità nei motori tradizionali e nei sistemi AI, una configurazione di partenza da valutare potrebbe essere:

Non è però una configurazione da copiare automaticamente.

Soprattutto prima di bloccare Training bisogna verificare l’effetto sui crawler multi-purpose identificati da Cloudflare.

Cosa controllare dopo aver modificato le policy

Dopo ogni modifica è consigliabile monitorare:

• errori HTTP 403;
• access log;
• crawl rate;
• bot identificati;
• CPU;
• processi PHP;
• query e carico database;
• banda;
• cache hit ratio;
• indicizzazione;
• referral provenienti dai servizi AI.

Se dopo l’attivazione di una regola diminuisce improvvisamente la discoverability del sito, bisogna verificare che non sia stato bloccato anche un crawler necessario.

Bloccare i crawler AI migliora le prestazioni?

Può farlo, ma dipende dal traffico.

Se un sito riceve poche richieste automatizzate, la differenza può essere praticamente nulla.

Se invece riceve centinaia di migliaia di richieste da crawler che analizzano continuamente pagine dinamiche, il beneficio può diventare significativo.

Il punto corretto non è quindi:

“I crawler AI rallentano sempre il sito.”

Ma:

“Il crawling non necessario consuma risorse e deve essere misurato.”

Il futuro del Web sarà sempre più agentico

La decisione di Cloudflare evidenzia un cambiamento più ampio.

Il traffico Web non è più composto soltanto da:

persona → browser → sito

Sempre più spesso il percorso sarà:

persona
↓
AI Agent
↓
sito web

oppure:

sito web
↓
crawler Search
↓
indice AI
↓
risposta all'utente

Per webmaster e provider diventerà quindi necessario gestire non soltanto l’indicizzazione, ma anche lo scopo dell’accesso automatizzato.

Crawler AI: cosa cambia davvero per chi gestisce un sito

Il cambiamento del 15 settembre non significa che Cloudflare bloccherà improvvisamente tutti i sistemi AI.

Significa qualcosa di più importante: il traffico AI verrà trattato sempre meno come una categoria unica.

Il proprietario del sito potrà decidere separatamente se vuole:

• essere trovato;
• essere utilizzato per risposte AI;
• essere utilizzato per Training;
• essere visitato da Agent in tempo reale.

Questa distinzione diventerà probabilmente sempre più importante anche fuori dall’ecosistema Cloudflare.

Conclusioni

Dal 15 settembre 2026 la gestione dei crawler AI su Cloudflare diventerà più granulare.

Search, Training e Agent potranno essere trattati separatamente, mentre i crawler che svolgono più funzioni saranno valutati in base a tutte le classificazioni associate.

Per webmaster e aziende il vantaggio principale è la possibilità di evitare un approccio “tutto o niente”.

È possibile voler mantenere il sito visibile nei sistemi di ricerca AI senza necessariamente consentire qualsiasi altro utilizzo dei contenuti.

Dal punto di vista hosting, inoltre, controllare il crawling può ridurre richieste non necessarie, banda consumata e carico applicativo quando i bot colpiscono pagine dinamiche.

Il file robots.txt rimane uno strumento importante per comunicare preferenze, ma non rappresenta da solo un sistema di enforcement.

La strategia migliore consiste quindi nel combinare:

SEO + AEO + robots.txt + Cloudflare AI Crawl Control + cache + monitoraggio delle risorse.

Prima del 15 settembre, chi utilizza Cloudflare dovrebbe controllare le proprie impostazioni e decidere consapevolmente quali categorie di traffico AI vuole realmente consentire.

Domande frequenti sui crawler AI

Cosa sono i crawler AI?

I crawler AI sono sistemi automatizzati che visitano siti web per recuperare contenuti. Possono essere utilizzati per indicizzazione, ricerca, risposte AI in tempo reale, attività Agent oppure addestramento dei modelli.

Cosa cambia su Cloudflare il 15 settembre 2026?

Cloudflare introdurrà nuovi default che distinguono Search, Training e Agent. Nei nuovi domini Search resterà consentito, mentre Training e Agent verranno bloccati di default sulle pagine che mostrano pubblicità.

Cloudflare bloccherà tutti i crawler AI?

No. Il sistema consente al proprietario del sito di scegliere quali categorie permettere o bloccare. Search, Training e Agent possono essere configurati separatamente.

Bloccare Training può influire sulla SEO?

Bloccare un crawler esclusivamente dedicato all’addestramento non equivale a bloccare un motore di ricerca. Bisogna però prestare particolare attenzione ai crawler multi-purpose che Cloudflare classifica con più comportamenti.

robots.txt blocca realmente un crawler?

No. robots.txt comunica una preferenza ed è volontario. Per impedire tecnicamente l’accesso è necessario utilizzare firewall, WAF, AI Crawl Control o altri sistemi di controllo del traffico.

Cosa sono Search, Agent e Training?

Search identifica crawler che indicizzano contenuti per renderli ricercabili. Agent identifica attività automatizzate effettuate in tempo reale per conto di un utente. Training identifica crawler che raccolgono dati per addestrare o perfezionare modelli AI.

I crawler AI possono consumare CPU?

Sì. Se richiedono pagine dinamiche non presenti in cache possono attivare PHP, database e altri processi applicativi. L’impatto dipende dal numero di richieste e dall’architettura del sito.

Cloudflare AI Crawl Control è disponibile sui piani Free?

Cloudflare indica AI Crawl Control come disponibile sui propri piani, con funzionalità che permettono di monitorare e gestire il traffico dei crawler AI. Alcune funzioni avanzate o sperimentali possono avere disponibilità differente.

Conviene lasciare Search consentito?

Per un sito che punta alla visibilità SEO e AEO può essere utile mantenere Search consentito. La configurazione ideale dipende comunque dal modello di business e dai crawler coinvolti.

Che cosa sono i Content Signals?

Sono direttive machine-readable inseribili nel robots.txt per esprimere preferenze relative a search, ai-input e ai-train, cioè indicizzazione, utilizzo AI in tempo reale e addestramento dei modelli.