Il file robots.txt è un semplice file di testo che contiene delle regole usate dagli Spider (Crawler) per applicare restrizioni sulle pagine di un sito web. I Web Crawler sono dei software programmati che effettuano ricerche sul Web e indicizzazioni per i motori di ricerca, quando analizzano un sito web controllano l’esistenza del file Robots.txt e se vi […]