{"id":17913,"date":"2024-04-30T14:59:27","date_gmt":"2024-04-30T12:59:27","guid":{"rendered":"https:\/\/xlogic.org\/blog\/?p=17913"},"modified":"2024-04-30T14:59:27","modified_gmt":"2024-04-30T12:59:27","slug":"come-impostare-correttamente-il-file-robots-txt-e-come-evitare-i-principali-problemi","status":"publish","type":"post","link":"https:\/\/xlogic.org\/blog\/come-impostare-correttamente-il-file-robots-txt-e-come-evitare-i-principali-problemi.html\/","title":{"rendered":"Come impostare correttamente il file robots.txt e come evitare i principali problemi"},"content":{"rendered":"

All’interno di questo articolo ti spiegheremo nel dettaglio che cos’\u00e8 il file robots.txt e come dovrai utilizzarlo per migliorare il posizionamento del tuo sito web sui motori di ricerca.<\/p>\n

Che cos’\u00e8 il file robots e come impostarlo correttamente<\/h2>\n\n\n\n
Indice dei contenuti<\/strong><\/p>\n
    \n
  1. Che cos’\u00e8 il file robots.txt<\/li>\n
  2. Come impostare un file robots.txt<\/span><\/li>\n
  3. Dove inserire il file robots.txt<\/span><\/li>\n
  4. Come inserire il file robots.txt su pi\u00f9 siti web<\/span><\/li>\n
  5. I principali comandi da utilizzare all’interno del file robots.txt<\/span><\/li>\n
  6. Come verificare il file robots.txt<\/span><\/li>\n
  7. Come risolvere i principali problemi<\/span><\/li>\n
  8. Conclusioni<\/span><\/li>\n<\/ol>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n

    Che cos’\u00e8 il file robots.txt<\/strong><\/h3>\n

    Il file\u00a0robots.txt<\/strong> \u00e8 un semplice file di testo contenente delle stringhe speciali che servono per poter comunicare con i motori di ricerca quali Google, Bing, Yahoo; perch\u00e9 nel caso non lo sapessi, i motori di ricerca utilizzano appunto dei robot (Web Crawler) per controllare lo stato del tuo sito web, per indicizzare le pagine e gli articoli e nel caso in cui trovassero delle regole o restrizioni indicate all’interno del file le applicano.<\/p>\n

    La sintassi che bisogna utilizzare per la creazione del file robots.txt \u00e8 molto semplice perch\u00e9 deve essere facilmente leggibile da questi robot quando passeranno a controllare il tuo sito web.<\/p>\n

     <\/p>\n

    Come impostare un file robots.txt<\/strong><\/h3>\n

    Il file Robots.txt elenca fondamentalmente i nomi degli Spider su una linea, seguito da un elenco di directory o file da non indicizzare.<\/p>\n

    Ogni riga del file contiene un record. Ogni record ha la seguente sintassi\u00a0:<\/p>\n

    <campo> : <valore><\/strong><\/pre>\n
    I campi disponibili sono\u00a0:<\/p>\n
    User-Agent<\/strong> il valore di questo campo contiene il nome del robot che si deve attenere alle restrizioni. Con il carattere\u00a0*<\/strong> la regola viene applicata a qualsiasi robot.<\/p>\n
    Disallow <\/strong>il valore di questo campo contiene le pagine del sito che devono essere escluse dai robot durante l\u2019indicizzazione. Si pu\u00f2 indicare un URL specifico o una serie di URL appartenenti ad un pattern. Per ogni\u00a0User-Agent<\/em> \u00e8 possibile specificare una o pi\u00f9 restrizioni tramite\u00a0Disallow<\/em>.<\/p>\n
    Il file robots.txt \u00e8 case sensitive quindi se blocchiamo la pagina \/PAGINA_DA_BLOCCARE sar\u00e0 differente da bloccare la pagina \/pagina_da_bloccare.<\/p>\n
    <\/h2>\n
    Dove inserire il file robots.txt<\/strong><\/h3>\n
    Il file robots.txt viene inserito nella directory principale e puoi creare questo file semplicemente utilizzando il blocco note del tuo PC in quanto questo programma ti salva gi\u00e0 il file nel formato .txt<\/em><\/strong><\/p>\n
    Fai attenzione a rinominare il file correttamente altrimenti i motori di ricerca non riusciranno a trovarlo e quindi non potranno scannerizzare il tuo sito web; Il file deve essere rinominato in \u201crobots.txt\u201d<\/strong> facendo attenzione a non inserire le lettere maiuscole.<\/p>\n
    Una volta che avrai inserito il file nella cartella principale del sito, prova a verificare che tale file venga visualizzato in maniera corretta, provando semplicemente a visitare l\u2019url dove \u00e8 stato inserito, ovvero su tuosito.it\/robots.txt<\/strong>.<\/p>\n
    <\/h2>\n
    Come inserire il file robots.txt su pi\u00f9 siti web<\/strong><\/h3>\n
    I file robots.txt controllano lo scansionamento solamente all’interno del dominio e sottodominio in cui sono ospitati, pertanto\u00a0se vuoi controllare il crawling su un altro sottodominio, hai bisogno di creare un file robots.txt separato.\u00a0<\/strong><\/p>\n
    Questo significa che se il tuo sito principale si trova su dominio.it ed un altro tuo sito web si trova su sitoweb.it avrai bisogno di due file robots.txt.<\/strong><\/p>\n
    Esempio:<\/p>\n
    public_html\/robots.txt –> per il tuo sito principale dominio.it<\/p>\n
    public_html\/sitoweb.it\/robots.txt –> per l’altro tuo sito sitoweb.it<\/p>\n
     <\/p>\n
    I principali comandi da utilizzare all’interno del file robots.txt<\/strong><\/h3>\n
    1. Per permettere l\u2019accesso all’intero sito web<\/strong>, non indicare nulla nella direttiva Disallow e di conseguenza inserisci all’interno del file la seguente sintassi:<\/p>\n
    User-agent: *\r\nDisallow:<\/pre>\n
    2. Per\u00a0bloccare un intero sito<\/strong>, utilizza una barra (\/) sul campo Disallow:<\/p>\n
    User-agent: *\r\nDisallow: \/<\/pre>\n
    3. Per bloccare una directory e il relativo contenuto<\/strong>, fai seguire il nome della directory da una barra (\/).<\/p>\n
    User-agent: *\r\nDisallow: \/private_directory\/<\/pre>\n
    4. Per bloccare una pagina<\/strong>, indicala:<\/p>\n
    User-agent: *\r\nDisallow: \/private_file.html<\/pre>\n
    Per segnalare il file\u00a0Sitemap<\/strong> del sito.<\/p>\n
    Sitemap: http:\/\/www.esempio.com\/sitemap.xml<\/pre>\n
     <\/p>\n
    Come verificare il file robots.txt<\/strong><\/h3>\n
    Puoi verificare la validit\u00e0 del file robots.txt accedendo all’interno dello strumento per webmaster di Google nonch\u00e9 Google Search Console.<\/strong><\/a><\/p>\n
    Cliccando sul link sopra riportato, verrai automaticamente reindirizzato sullo strumento di verifica del file robots.txt , per\u00f2 ovviamente prima dovrai accedere all’interno di Google Search Console.<\/p>\n
     <\/p>\n
    Come risolvere i principali problemi<\/h3>\n
      \n
    1. Posizionamento errato del file robots.txt<\/strong>: questo \u00e8 uno tra i problemi pi\u00f9 frequenti essendo che se non posizioni il file robots.txt in una cartella che non \u00e8 la cartella root i bot non lo troveranno e non lo leggeranno; La soluzione<\/strong>, se ti accorgi che il tuo file robots.txt non viene visto dai bot, \u00e8 semplicemente quello di assicurarti che si trovi nella cartella root e nel caso spostarcelo (esempio percorso root principale Xlogic –> public_html\/robots.txt<\/li>\n
    2. Gestione no\u00edndex all’interno del file:<\/strong> Si tratta di un problema che sperimenti se il tuo sito \u00e8 stato costruito prima del 2019 in quanto bisogna ricordare che tale sistema non \u00e8 pi\u00f9 utilizzato da Google all\u2019interno dei file robots.txt; La soluzione<\/strong> consiste nel comunicare direttamente a Google gli eventuali contenuti che vuoi che vengano esclusi; per far questo ti baster\u00e0 semplicemente aggiungere\u00a0un tag nello head delle pagine che vuoi vengano ignorate.<\/li>\n
    3. Indicizzazione involontaria sito web:<\/strong> Se stai costruendo un nuovo sito web e non vuoi farlo vedere a Google, devi inserire delle istruzioni specifiche per evitare che qualunque brandello del tuo sito appaia online prima che sia pronto; diverso il caso in cui tu abbia un sito web che non sta facendo quello che dovrebbe in termini di traffico, in quanto potresti avere erroneamente attivato le istruzioni per far s\u00ec che i bot evitino il tuo sito web; La soluzione<\/strong> consiste nel controllare che non siano state inserite erroneamente le istruzioni per non far vedere a Google il tuo sito web<\/li>\n
    4. Non includere la Sitemap: <\/strong>Se non includi laSitemap XML all\u2019interno del file robots.txt non avrai problemi a livello tecnico in quanto i bot riescono a vivere anche se all\u2019interno del file robots.txt non \u00e8 presente la Sitemap XML, ma \u00e8 chiaro che stai perdendo un\u2019occasione in quanto aggiungendo\u00a0l\u2019URL della Sitemap del tuo sito web darai una sorta di cartina geografica ai bot, che potranno cos\u00ec familiarizzare con la struttura principale del tuo sito web prima di cominciare ad analizzarlo nel dettaglio. Il suo utilizzo render\u00e0 pi\u00f9 rapida l\u2019indicizzazione ma comunica anche al motore di ricerca e ai suoi bot che le pagine inserite sono in qualche modo importanti; La soluzione<\/strong> consiste nel creare immediatamente una Sitemap nel caso in cui possedessi un sito web gi\u00e0 online<\/li>\n
    5. URL assolute e relative:<\/strong> Le URL assolute sono quelle che cominciano con http(s)<\/em> e finiscono con l\u2019ultima parola che identifica l\u2019indirizzo della pagina o del contenuto mentre le URL relative sono quelle in cui viene tagliato tutto quello che non serve fino al contenuto cui realmente si fa riferimento. La soluzione<\/strong> consiste nel\u00a0redigere il tuo file robots.txt utilizzando gli indirizzi URL relativi, in modo tale che i bot che devono analizzarlo sappiano esattamente dove andare.<\/li>\n<\/ol>\n
      <\/h3>\n
      Conclusioni<\/strong><\/h3>\n
      Creare ed impostare il file robots.txt \u00e8 di fondamentale importanza per il tuo sito web, e siamo sicuri che se seguirai le indicazioni presenti all’interno di questo articolo non commetterai alcun errore ed il tuo sito web verr\u00e0 indicizzato correttamente.<\/p>\n
      Ci auguriamo che questo articolo ti sia stato utile! A presto, il team di Xlogic<\/p>\n","protected":false},"excerpt":{"rendered":"
      All’interno di questo articolo ti spiegheremo nel dettaglio che cos’\u00e8 il file robots.txt e come dovrai utilizzarlo per migliorare il posizionamento del tuo sito web sui motori di ricerca. Che cos’\u00e8 il file robots e come impostarlo correttamente Indice dei contenuti Che cos’\u00e8 il file robots.txt Come impostare un file robots.txt Dove inserire il file […]<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_lmt_disableupdate":"no","_lmt_disable":"","footnotes":""},"categories":[5],"tags":[],"class_list":["post-17913","post","type-post","status-publish","format-standard","hentry","category-news"],"modified_by":"Andrea (Xlogic.org)","_links":{"self":[{"href":"https:\/\/xlogic.org\/blog\/wp-json\/wp\/v2\/posts\/17913","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/xlogic.org\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/xlogic.org\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/xlogic.org\/blog\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/xlogic.org\/blog\/wp-json\/wp\/v2\/comments?post=17913"}],"version-history":[{"count":0,"href":"https:\/\/xlogic.org\/blog\/wp-json\/wp\/v2\/posts\/17913\/revisions"}],"wp:attachment":[{"href":"https:\/\/xlogic.org\/blog\/wp-json\/wp\/v2\/media?parent=17913"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/xlogic.org\/blog\/wp-json\/wp\/v2\/categories?post=17913"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/xlogic.org\/blog\/wp-json\/wp\/v2\/tags?post=17913"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}