Googlebot bloccato dal file robots.txt - Correggere e ottimizzare robots.txt

Googlebot è un software che il motore di ricerca Google utilizza per scansionare, in modo automatico, i siti web alla ricerca di nuove pagine e contenuti da indicizzare seguendo delle linee guida fornite da un file di testo, robots.txt.
Googlebot è il nome generico di due diversi tipi di crawler: un crawler desktop che simula un utente che usa un dispositivo desktop e un mobile crawler che simula un utente che usa un dispositivo mobile.

Questo spider effettua due tipi di scansione: la Deep-crawl, effettuata una volta al mese circa, e la Fresh-crawl effettuata quasi tutti i giorni.
Può, però, succedere che durante la scansione di un sito web Googlebot rilevi qualche problema o che non riesca ad accedere ai file JavaScript e CSS.

Googlebot bloccato dal file robots.txt

Per ottenere un rendering e un'indicizzazione ottimali si deve consentire a Googlebot di accedere ai file JavaScript, CSS e immagini.
Se il file robots.txt del sito non consente la scansione di queste risorse si compromette l'efficacia del rendering e dell'indicizzazione dei tuoi contenuti.
Il file robots.txt si trova nella directory principale (root) di ogni sito web.
Se un sito web ha uno o più sottodomini, il file robots.txt dovrà essere presente nella directory principale di ognuno di essi.
I comandi più comuni presenti nel file robots.txt sono tre:

  • User-Agent: * (con il quale è concesso l’accesso a tutti gli spider dei vari motori di ricerca);
  • Disallow: (con il quale si limita l’accesso ad una risorsa);
  • Allow: (per consentire l’accesso ad una risorsa).

Vediamo adesso un esempio del file robots.txt per un sito realizzato con Joomla e uno realizzato con WordPress.
Fare molta attenzione ad asterisco e slash.

Per Joomla possiamo scriverlo così:

User-agent: *
Disallow: /administrator/
Disallow: /tag/
Disallow: /category
Disallow: /bin/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /modules/
Disallow: /plugins/
Disallow: /tmp/

Per WordPress possiamo scriverlo così:

User-agent: *
Disallow: /wp-admin/
Disallow: /category
Disallow: /tag/
Allow: /wp-admin/admin-ajax.php

Per consentire l'accesso ai files JavaScript e CSS, in qualsiasi posizione essi si trovino, sia per Joomla che per WordPress, si devono aggiungere al file robots.txt due comandi:
Allow: *.js$
Allow: *.css$

$” per specificare la fine di uno URL

Infine è molto importante permettere la scansione della Sitemap. Per fare ciò basta inserire, all’interno del file robots.txt, il percorso del file sitemap.xml presente sul sito web, ad esempio: http://www.miosito.it/sitemap.xml
Quindi nel file robots.txt il comando da scrivere per permettere la scansione della sitemap è:

Sitemap: http://www.miosito.it/sitemap.xml (su miosito.it va inserito il nome del tuo dominio)

Dopo aver effettuato tutte le correzioni e caricato il file robots.txt nella root del sito web, accedi al tuo account Google Search Console. Da qui, tramite lo strumento "Tester dei file robots.txt" è possibile controllarlo e verificarlo.

Google search console 

Dopo aver selezionato una proprietà verrà mostrato il contenuto del file robots.txt presente sul sito web.

Tester file robots.txt

Nel campo "Inserisci un URL per verificare se è bloccato" scrivi il percorso del file robots.txt. In questo caso basta solo scrivere "robots.txt" e clic su "Testa" lasciando l'opzione "Googlebot".
Ripeti il test selezionando "Googlebot-Mobile".

Se il file robots.txt contiene tutti i comandi corretti, il risultato dei due test sarà una scritta "Consentito".

id26 3


Video Tutorial

 

 


Copyright ©
Il testo e le immagini di questo sito sono di totale proprietà dell'autore.
Non ne è consentita la riproduzione, anche parziale, se non espressamente autorizzata.



Sostienimi con una donazione!

La tua “donazione” (qualsiasi importo) verrà usata per mantenimento, sviluppo, nuovi servizi e miglioramento di questo sito.