Il Robots.txt è un file testuale che va aggiunto alla root dell’installazione WordPress.
Dove sono collocate le cartelle wp-admin, wp-content per intenderci.
Questo file permette al sito web di fornire istruzioni ai crawling bots su come scansionare e indicizzare il sito.
I crawlers sono dei software che utilizzano compagnie come Google per scansionare i vari siti web e decidere quale mostrare in prima posizione nella ricerca.
Tramite il robots.txt è possibile dare loro determinate istruzioni.
Per esempio, in questo modo si permette l’accesso a tutti i crawlers (non solo quelli di Google) a tutto il sito
User-agent: *
Disallow:
Mentre così viene invece impedito la scansione dell’intero sito
User-agent: *
Disallow: /
Con questa indicazione viene bloccato l’accesso sola alla cartella “private-directory”
User-agent: *
Disallow: /private_directory/
Nel robots.txt si possono aggiungere anche altre informazioni come il link alla sitemap.
User-agent: *
Disallow:
Sitemap: http://www.example.com/sitemap.xml
In questo senso il robots.txt da un grande contributo alla SEO del sito.
