Robots.Txt Checker è un servizio online che permette di analizzare il file robots.txt e vedere se una pagina è indicizzabile o no dai motori di ricerca.
Il file robots.txt è pressoché inutile che dica a cosa funziona e che è molto utile per evitare contenuti duplicati e l'esposizione su internet di contenuti che non si vuol fare indicizzare, vuoi perchè non si è webmaster esperti o perchè si ha la struttura del sito complessa quindi si hanno molte regole nel file robots.txt, analizzare questo file per vedere se una determinata pagina web, categoria, ecc. può essere indicizzabile sicuramente non è un lavoro istantaneo, con Robots.Txt Checker lo sarà.
La prima immagine di questo post non centra nulla con Robots.Txt Checker però evidenzia una mancanza degli strumenti per i webmaster Google che in futuro potrebbero mettere, ovvero essi dicono che qualche pagina non potrebbe essere indicizzabile ma non dicono quale.
Robots.txt Checker non dice anch'esso quali pagine sono indicizzabili o no, però, una volta che gli si ha fornito l'URL del file robots.txt, che è bene sia nella root del sito, e, dopo avergli fornito un URL che si vuole verificare sia indicizzabile o no esso riporta un'analisi che lo fa capire chiaramente:
Una bella caratteristica di Robots.Txt Checker è che supporta sia la direttiva Disallow che quella Allow, la seconda non è interpretata da tutti i motori di ricerca ma da Google si; se il motore di ricerca che fa arrivare più traffico la riconosce e se si utilizza nel proprio file robots.txt visto che è utile, e, se, Robots.Txt Checker non la riconoscesse molta della sua utilità sarebbe non effettivamente utile.
Non è tutto, visto che nel file robots.txt possono esserci varie regole diverse in base l'user agent, modificando l'user agent in Robots.Txt Checker (che di default è Google), che andrà messo quello di un motore di ricerca e non del browse,r mostra se un determinato motore di ricerca può indicizzare la risorsa, Robots.Txt Checker è un tool molto completo, funzionale per l'analisi del file robots.txt, il migliore, non trovate?
Qui trovate Robots.Txt Checker.