<\/p>\n
Il file robots.txt comunica ai crawler quali percorsi possono o non possono visitare.<\/strong> Non protegge contenuti riservati e non garantisce la rimozione dall\u2019indice: per questo servono autenticazione, noindex o gestione degli URL secondo il caso.<\/p>\n Nota di aggiornamento:<\/strong> Una regola errata pu\u00f2 bloccare risorse o sezioni importanti. Prima della pubblicazione verifica sintassi, maiuscole, percorsi e comportamento con gli strumenti del motore di ricerca.<\/em><\/p>\n<\/div>\n Il file\u00a0robots.txt<\/strong> \u00e8\u00a0un semplice file di testo che contiene delle regole usate dagli Spider (Crawler)\u00a0per applicare restrizioni sulle pagine di un sito web. I Web Crawler sono dei software programmati che effettuano ricerche sul Web e indicizzazioni per i motori di ricerca, quando analizzano un sito web controllano l’esistenza del file Robots.txt e se vi trovano delle regole o restrizioni le applicano.<\/p>\n Il file robots.txt viene inserito nella directory principale di un sito web ed\u00a0\u00e8 puramente consultivo, non tutti gli Spider applicano le regole inserite in esso.<\/p>\n <\/p>\n Perch\u00e9 \u00e8 un file robots.txt \u00e8 importante?<\/strong><\/p>\n Per evitare lo spreco di risorse del server,\u00a0molti, se non la maggior parte dei siti web, hanno degli script che girano sul loro sito web che\u00a0non hanno nessuna utilit\u00e0 pratica per un motore di ricerca, quando i robot dei motori \u00a0indicizzano il sito \u00e8 possibile tramite il file robots.txt impedire agli spider l’indicizzazione di tali script, riducendo\u00a0il carico sul server e eliminando le esecuzioni non necessarie.<\/p>\n <\/p>\n Ridurre la larghezza di banda<\/strong><\/p>\n Se guardate le statistiche del vostro sito web, troverete molte richieste per il Robots.txt da parte degli spider dei motori di ricerca.\u00a0I motori di ricerca tentano di recuperare il robots.txt prima di indicizzare il sito web, per vedere se ha istruzioni per loro.<\/p>\n Se non si dispone di un file robots.txt, il server restituisce una pagina di errore 404 per il motore, questo causa l’utilizzo di molta banda a causa delle sue ripetute richieste per recuperare il file 404.<\/p>\n Qualche motore di ricerca indicizza anche i file grafici tipo .Gif, .Jpg e .Png, se si desidera bloccarli per risparmiare banda, lo si pu\u00f2 fare usando il file robots.txt.<\/p>\n <\/p>\n Come impostare un file robots.txt<\/strong><\/p>\n Scrivere un file robots.txt \u00e8 estremamente semplice. E’ solo un file di testo ASCII che si colloca alla radice del vostro dominio.\u00a0Ad esempio, se il dominio \u00e8 www.esempio.com, bisogner\u00e0 inserire il file in www.esempio.com\/robots.txt.<\/p>\n Per coloro che non sanno cosa sia un file di testo ASCII, \u00e8 solo un file di testo che si crea con un editor di testo. Se utilizzate Windows, \u00e8 gi\u00e0 presente un editor di testo sul vostro sistema, chiamato Blocco note.<\/p>\n Il file Robots.txt elenca fondamentalmente i nomi degli Spider su una linea, seguito da un elenco di directory o file da non indicizzare.<\/p>\n Ogni riga del file contiene un record. Ogni record ha la seguente sintassi\u00a0:<\/p>\n I campi disponibili sono\u00a0:<\/p>\n User-Agent<\/strong> il valore di questo campo contiene il nome del robot che si deve attenere alle restrizioni. Con il carattere\u00a0*<\/strong> la regola viene applicata a qualsiasi robot.<\/p>\n Disallow <\/strong>il valore di questo campo contiene le pagine del sito che devono essere escluse dai robot durante l’indicizzazione. Si pu\u00f2 indicare un URL specifico o una serie di URL appartenenti ad un pattern. Per ogni\u00a0User-Agent<\/em> \u00e8 possibile specificare una o pi\u00f9 restrizioni tramite\u00a0Disallow<\/em>.<\/p>\n Il file robots.txt \u00e8 case sensitive quindi se blocchiamo la pagina \/PAGINA_DA_BLOCCARE sar\u00e0 differente da bloccare la pagina \/pagina_da_bloccare.<\/p>\n <\/p>\n Esempio (1) file robots.txt<\/strong><\/p>\n Per permettere l’accesso a tutto il sito web, non indicare nulla nella direttiva Disallow. Alcuni\u00a0crawler supportano anche la direttiva Allow<\/p>\n Per bloccare un intero sito, utilizza una barra.<\/p>\n Per bloccare una directory e il relativo contenuto, fai seguire il nome della directory da una barra.<\/p>\n Per bloccare una pagina, indica tale pagina.<\/p>\n Per segnalare il file\u00a0Sitemap<\/strong> del sito.<\/p>\n <\/p>\n Esempio (2) file robots.txt<\/strong><\/p>\n Le due righe sopra, inserite in un file robots.txt, informano tutti i robot che non sono autorizzati ad accedere nella directory e nelle sottodirectory di\u00a0cgi-bin<\/strong>.<\/p>\n <\/p>\n E’ possibile, bloccare i robot che indicizzano le immagini, tipo Google Image Search, inserendo le righe seguenti:<\/p>\n Ci\u00f2 significa che il robot di Google Image Search, non dovrebbe tentare di accedere a qualsiasi file nella directory radice \/<\/strong> e in tutte le sue sottodirectory.<\/p>\n <\/p>\n \u00c8 possibile avere pi\u00f9 linee Disallow per ogni user agent (cio\u00e8, per ogni spider). Ecco un esempio di file robots.txt pi\u00f9 lungo:<\/p>\n <\/p>\n E’ possibile escludere l’indicizzazione di un determinato file. Per esempio, se non volete fare indicizzare l’immagine test.jpg<\/strong>, dovrete aggiungere le seguenti righe:<\/p>\n <\/p>\n Senza restrizioni<\/strong><\/p>\n Se si desidera che tutte le directory vengano indicizzate da tutti i motori di ricerca, basta un semplice file robots con le seguenti righe:<\/p>\n <\/p>\n Alla prossima.<\/p>\n <\/p>\n <\/p>\nInformazioni aggiornate e controlli essenziali<\/h2>\n
<campo> : <valore><\/strong><\/pre>\n
User-agent: *\r\nDisallow:<\/pre>\n
User-agent: *\r\nDisallow: \/<\/pre>\n
User-agent: *\r\nDisallow: \/private_directory\/<\/pre>\n
User-agent: *\r\nDisallow: \/private_file.html<\/pre>\n
Sitemap: http:\/\/www.esempio.com\/sitemap.xml<\/pre>\n
User-agent: *\r\nDisallow: \/cgi-bin\/<\/pre>\n
User-agent: Googlebot-Image\r\nDisallow: \/<\/pre>\n
User-agent: *\r\nDisallow: \/images\/\r\nDisallow: \/cgi-bin\/\r\nUser-agent: Googlebot-Image\r\nDisallow: \/<\/pre>\n
User-agent: Googlebot-Image\r\nDisallow: \/images\/test.jpg<\/pre>\n
User-agent: *\r\nDisallow:<\/pre>\n
Approfondimenti correlati<\/h2>\n