Cos'è il file robots.txt
Il cosidetto robots.txt è un semplice file di testo (che dovrebbe essere presente nella root di ogni sito web) attravero il quale vengono impartire alcune direttive agli spider (anche detti robot o bot) circa le preferenze del webmaster in merito alla scansione dei contenuti del sito stesso.
Attraverso il file robots.txt, ad esempio, è possibile evitare che un intero sito venga indicizzato sui motori di ricerca, altresì è possibile escludere solo singole cartelle (ad esempio aree riservate) o singoli file oppure, ancora, limitare singoli spider.
In sostanza, quando uno spider decide di scansionare il nostro sito web, la prima cosa che deve fare è verificare la presenza o meno del file robots.txt, analizzarne il contenuto ed adeguarsi ad eventuali direttive che lo riguardano.
Il contenuto del file robots.txt può essere scritto, se si conosce la sintassi da utilizzare, con un comune editor di testo (come ad esempio il Notepad di Windows) oppure, in alternativa, è possibile urtilizzare un generatore di file robots.txt come quello presente in questa pagina.
Per una trattazione completa sul file robots.txt vi consigliamo di leggere questo articolo su Mr.Webmaster.
Generare il contenuto del file robots.txt
Attraverso lo strumento disponibile in questa pagina è possibile generare automaticamente il contenuto del file robots.txt per il nostro sito web.
Vediamo come procederre:
- la prima cosa da fare è selezionare la regola di default: in pratica si deve decidere se escludere o meno la generalità degli spider dal proprio sito (attenzione: escludendo gli spider le nostre pagine web non verranno indicizzate dai motori di ricerca!);
- una volta impostata la regola di default è possibile definire alcune eccezioni:
- cliccare sul bottone +;
- selezionare il comando (Ammetti / Escludi);
- selezionare lo spider (tutti gli spider o un singolo spider);
- definire la cartella o il file coinvolto nella regola indicandone il percorso relativo (ad es. /cgi-bin/). Si noti che per creare un'eccezione riguardante tutto il sito dovremo inserire semplicemente una slash (/);
- per finire è possibile indicare all'interno del file robots.txt anche la URL del file sitemap XML;
- cliccare sul bottone dopodiché copiare ed incollare il contenuto generato all'interno del propro file robots.txt (utilizzando un comune editor di testo).
