Come impostare robots.txt su un sito WordPress, guida

Come impostare robots.txt su un sito WordPress, guida

Il file robots.txt è un file importante per l’indicizzazione di qualsiasi sito web, infatti è in grado di limitare l’accesso al tuo sito da parte dei robot dei motori di ricerca che eseguono la scansione delle pagine del sito. I bot sono programmi automatizzati, i quali prima di accedere alle pagine di un sito, effettuano un controllo per verificare la presenza di un file robots.txt. Dopo aver analizzato il file robot.txt, in base alle righe di codice presenti i bot analizzeranno tutte o solo una parte delle pagine del sito web. Tutti i robot affidabili rispetteranno le istruzioni in un file robots.txt, anche se alcuni potrebbero interpretarle diversamente.

Quindi da come si può capire, impostare correttamente questo file può determinare o meno la corretta indicizzazione di qualsiasi sito web. In questo post vi illustriamo un impostazione tra le più comuni per un sito web WordPress, vediamolo nel dettaglio.

Come impostare robots.txt su un sito WordPress, guida:

– si tratta di un impostazione standard, ma in alcuni casi in base al tipo di sito web, si ha l’esigenza di effettuare delle modifiche più specifiche. La dicitura “User-agent: *” permette l’accesso a qualsiasi bot o motore di ricerca. Invece per modificare il file robot.txt di qualsiasi sito web WordPress consigliamo l’installazione del plugin:

WP Robots Txt http://wordpress.org/plugins/wp-robots-txt/

Ecco di seguito il codice per il file robot di un sito wordpress:

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Allow: /wp-content/uploads

# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*

# Google AdSense
User-agent: Mediapartners-Google*
Disallow:
Allow: /*

Sitemap: http://www.example.com/sitemap.xml

NESSUN COMMENTO

LASCIA UN COMMENTO