In breve: Che cos’è il file robots.txt e come funziona: il file robots.txt è un file di testo pubblicato nella directory principale del sito.
Indice dei contenuti
Informazioni principali
In breve: il file robots.txt è un file di testo pubblicato nella directory principale del sito. Indica ai crawler quali URL possono richiedere e quali devono evitare durante la scansione.
Dove si trova il file robots.txt
Il file deve essere raggiungibile all’indirizzo principale del protocollo e dell’host, per esempio:
https://www.example.it/robots.txt
Un file collocato in una sottocartella non controlla l’intero sito. Anche host diversi, come dominio principale e sottodominio, possono richiedere file separati.
A cosa serve il file robots.txt
La funzione principale è gestire il traffico di scansione. Puoi impedire ai crawler conformi di richiedere aree tecniche, risultati di ricerca interni, parametri duplicati o risorse che non devono essere analizzate.
Il robots.txt non protegge dati riservati e non garantisce che una pagina sparisca dai risultati di ricerca. Un URL bloccato può essere scoperto attraverso link esterni e comparire senza contenuto. Per escludere una pagina dall’indice usa il meta tag o l’intestazione noindex, lasciando al crawler la possibilità di leggere tale direttiva.
Direttive principali
| Direttiva | Funzione | Esempio |
|---|---|---|
| User-agent | Indica il crawler a cui si applica il gruppo di regole. | User-agent: * |
| Disallow | Indica un percorso che non deve essere scansionato. | Disallow: /area-riservata/ |
| Allow | Consente un percorso più specifico all’interno di un’area bloccata. | Allow: /cartella/file.css |
| Sitemap | Comunica l’indirizzo della sitemap XML. | Sitemap: https://example.it/sitemap_index.xml |
La direttiva standard è Sitemap, con questa esatta grafia. La vecchia voce Host non è una direttiva universale del Robots Exclusion Protocol e non va usata come sostituto di canonical, redirect o impostazioni DNS.
Esempio di robots.txt per WordPress
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://www.example.it/sitemap_index.xml
L’esempio consente la scansione generale, blocca l’area amministrativa e permette il file AJAX usato da alcune funzioni frontend. Il percorso della sitemap deve corrispondere a quello realmente generato dal plugin SEO.
Come modificare il file robots.txt
- Apri l’indirizzo pubblico. Verifica se il file esiste già e conserva una copia.
- Individua chi lo genera. WordPress o un plugin SEO possono produrre un file virtuale.
- Definisci l’obiettivo. Specifica quali percorsi vuoi limitare e perché.
- Controlla la sintassi. Usa un gruppo
User-agentcoerente e percorsi corretti. - Non bloccare risorse necessarie. CSS e JavaScript possono essere indispensabili per comprendere la pagina.
- Pubblica il file nella root. Il server deve rispondere con stato HTTP 200 e contenuto testuale.
- Testa gli URL importanti. Controlla homepage, articoli, prodotti, immagini e sitemap.
Errori SEO frequenti
- usare
Disallow: /sul sito pubblico; - bloccare CSS, JavaScript o immagini necessari al rendering;
- inserire
noindexnel robots.txt aspettandosi che funzioni come meta tag; - bloccare una pagina e aggiungere contemporaneamente
noindex, impedendo al crawler di leggerlo; - indicare una sitemap inesistente o non HTTPS;
- modificare il file senza controllare staging e produzione;
- usare robots.txt per proteggere dati sensibili.
Robots.txt e crawler AI
I crawler possono usare token User-agent differenti e non tutti rispettano le regole nello stesso modo. Il file robots.txt esprime una preferenza di scansione, ma non sostituisce autenticazione, autorizzazioni e protezione dei contenuti. Prima di aggiungere regole per specifici bot, verifica il nome ufficiale del relativo user-agent e valuta l’impatto sulla visibilità del sito.
Come impedire davvero l’accesso a una pagina
Per contenuti privati usa autenticazione, password o regole di accesso lato server. Per evitare la presenza nei risultati di ricerca usa noindex su una pagina accessibile al crawler. Per rimuovere definitivamente un contenuto, restituisci lo stato HTTP appropriato oppure applica un redirect quando esiste una risorsa sostitutiva.
Procedura sicura di modifica
Prima di cambiare il file robots.txt salva una copia del valore attuale e annota lo scopo di ogni regola. Modifica una direttiva alla volta, pubblica il file nella root corretta e verifica che risponda con codice HTTP 200 e tipo di contenuto leggibile.
Controlla quindi URL che devono essere consentiti e URL che devono essere bloccati. Una regola può produrre effetti diversi quando esistono percorsi simili, caratteri speciali o direttive più specifiche.
Guide Xlogic correlate
- Qual è la funzione della cache di un sito web
- Cache dei siti web: cos’è e come funziona
- Permessi file WordPress: valori sicuri e controlli
Fonti tecniche
Domande frequenti
Che cos’è il file robots.txt e come funziona?
Nell’articolo su Che cos'è il file robots.txt e come funziona, In breve: il file robots.txt è un file di testo pubblicato nella directory principale del sito. Indica ai crawler quali URL possono richiedere e quali devono evitare durante la scansione.
Dove si trova il file robots.txt?
Nell’articolo su Che cos'è il file robots.txt e come funziona, Il file deve essere raggiungibile all’indirizzo principale del protocollo e dell’host, per esempio: https://www.example.it/robots.txt Un file collocato in una sottocartella non controlla l’intero sito.
Quali indicazioni fornisce la sezione «A cosa serve il file robots.txt»?
Nell’articolo su Che cos'è il file robots.txt e come funziona, La funzione principale è gestire il traffico di scansione. Puoi impedire ai crawler conformi di richiedere aree tecniche, risultati di ricerca interni, parametri duplicati o risorse che non devono essere analizzate.