DA ZERO A WP - Impara ad utilizzare Wordpress partendo da zero fino a realizzare un sito completo

Il Robots.txt è un file testuale che va aggiunto alla root dell’installazione WordPress.

Dove sono collocate le cartelle wp-admin, wp-content per intenderci.

Questo file permette al sito web di fornire istruzioni ai crawling bots su come scansionare e indicizzare il sito.

I crawlers sono dei software che utilizzano compagnie come Google per scansionare i vari siti web e decidere quale mostrare in prima posizione nella ricerca.

Tramite il robots.txt è possibile dare loro determinate istruzioni.

Per esempio, in questo modo si permette l’accesso a tutti i crawlers (non solo quelli di Google) a tutto il sito

User-agent: *
Disallow:

Mentre così viene invece impedito la scansione dell’intero sito

User-agent: *
Disallow: /

Con questa indicazione viene bloccato l’accesso sola alla cartella “private-directory”

User-agent: *
Disallow: /private_directory/

Nel robots.txt si possono aggiungere anche altre informazioni come il link alla sitemap.

User-agent: *
Disallow:

Sitemap: http://www.example.com/sitemap.xml

In questo senso il robots.txt da un grande contributo alla SEO del sito.


Francesco Tonti - Programmatore Web Wordpress, Marketer, creatore di Da Zero a WP, Egogea e Amministratore Digitale

Francesco Tonti

Fondatore di Da Zero a WP, Imprenditore, Programmatore, Autore

Sono un imprenditore e programmatore che lavora con Wordpress da oltre 10 anni. Ho creato questa piattaforma per aiutarti ad utilizzarlo al meglio, anche se parti da zero, per realizzare qualsiasi cosa tu voglia.