Mise à jour de l’outil de test Google pour les fichiers robots.txt

Le fichier robots.txt est un atout à ne pas négliger lors de la mise en place d’un site et plus particulièrement e-commerce. Il permet d’orienter les crawlers des moteurs de recherche vers les bonnes pages (ne pas indexer des contenus qu’on ne veut pas par exemple). Néanmoins – cela peut être une source d’erreur et impacter négativement la visibilité du site si c’est mal réalisé.
Google propose désormais un nouvel outil pour faciliter le travail des développeurs : l’Outil de test du fichier robots.txt

Qu’est-ce qu’un robot.txt ?

Un robots.txt est un fichier texte qui, présent sur votre site, donnera les indications d’exploration aux spiders des moteurs de recherches qui viennent indexer vos pages. Ainsi dès que le robot arrive sur votre site il recherchera le fichier robot.txt afin de suivre les indications données. S’il n’existe pas de fichier robot.txt, il enregistra l’ensemble des pages lus, considérant qu’il peut accéder à toutes les pages: rien ne lui est signaler, rien ne lui est interdit.

Cependant il peut arriver que vous souhaitiez laisser certaines pages confidentielles ou en travaux et pour cela il faudra alors le signaler grâce au fichier robots.txt. (exemple process de commande – d’inscription – le panier – certains répertoires serveurs etc…)

Ainsi, même si la construction du robots.txt reste plutôt simple cela peut rapidement se compliquer si vous souhaitez bloquer l’accès à de nombreuses pages avec différentes URL.
Ayant conscience de cela, Google a alors lancé un nouvel outil test du fichier robots.txt.

Tout savoir sur le nouvel outil test pour les fichiers robots.txt de Google

Dans le Webmaster Tools vous trouverez désormais dans la section « Exploration » le nouvel outil de test du fichier robots.txt .

Cet outil vous permettra de voir le fichier robots.txt de votre site et tester de nouvelles URL afin de confirmer leur exclusion lors de l’exploration par les spiders. Il vous signalera également les erreurs et avertissement. Vous pourrez alors apporter les modifications directement depuis l’outil pour pouvoir le tester à nouveau et voir ensuite le résultat. Généralement, une fois que les problèmes sont identifiés, il est facile de les résoudre.
Vous aurez également dans ce nouvel outil la possibilité d’examiner les anciennes versions du fichier robots.txt. Il vous sera ainsi possible de re-visualiser les anciennes versions connues de Googlebot.

Si vous avez des questions n’hésitez pas à nous contacter ! L’ensemble de nos équipes sont à votre disposition pour tout conseil et répondre à vos interrogation sue ce sujet ou autres problématiques concernant le référencement naturel ou liens sponsorisés.