Étude de logs serveur et rapport de crawl dans la Search Console, deux outils complémentaires

Avec le nouveau rapport de crawl la Search Console détaillant les statistiques et la manière dont les robots Google explorent votre site web, il est légitime de se questionner sur l’utilité des études et audits de logs serveur. Pour autant, il ne faut pas envisager ces deux outils comme concurrents mais plutôt complémentaires ! Si le rapport de la Search Console est particulièrement lisible et accessible, il ne suffit pas à mener une analyse complète du crawl de votre site – un élément qui reste pourtant un des points clés de toute stratégie SEO.

Un rapport de crawl limité uniquement aux robots de crawl Google…

Première limitation pour le rapport disponible dans la Search Console, il ne délivre que les données relatives aux robots de crawl du géant américain. Impossible d’avoir une vue sur l’analyse de votre site par les autres crawlers du web, comme les robots des autres moteurs de recherche comme Bing ou Yandex par exemple. Il en va de même pour les robots provenant d’outils divers : content scrapping, crawling, etc. Si cette limitation peut sembler sans importance pour les plus petits sites, elle occulte une partie des données qu’un véritable audit de log pourrait vous fournir.

Mais aussi plus précis sur le comportement des robots Google

Cette limitation est aussi en quelque sorte un de ses points forts. En tant que solution proposée par Google quant à ses propres outils, le rapport de la Search Console délivre des informations poussées et précises quant au comportement de ses robots. En quelques clics et de manière très lisible, nous obtenons les différents types de GoogleBots qui parcourent le site, le type de ressources qu’ils accèdent mais aussi le but de leur exploration (découvrir ou rafraîchir le contenu). Ce type de donnée exclusive et pointue représentent un des points forts de ce rapport et justifient un usage conjoint de ce dernier avec les analyses de logs servers afin d’identifier les points bloquants de votre site et éventuellement effectuer une refonte SEO partielle pour y remédier.

La Search Console, des données parfois incomplètes ou pas suffisamment à jour

Si vous êtes familiers avec les différents outils de la Search Console, vous avez peut-être déjà rencontré ce souci : en tentant d’obtenir les données d’un rapport qui concernerait par exemple 2 450 URLs, la Search Console ne rend accessible qu’un échantillon de 1000 URLs maximum, même en exportant les données. Le rapport de crawl ne fait pas exception à cette règle, qui peut vite se révéler ennuyante si vous étudiez un fort volume d’URLs.

De plus, le rapport crawl de la Search Console sera constitué (logiquement) des données disponibles dans l’outil et qui ne seront pas forcément à jour. Il n’est pas rare de constater des délais de plusieurs jours avant que les données d’une date précise deviennent accessibles, et nous n’aborderons pas les potentiels bugs qui peuvent impacter la Search Console et perturber vos datas. À l’inverse, une analyse de logs ne sera pas sujette à une telle restriction et vous proposera les données complètes, peu importe leur volume, et ce toujours en temps réel.

Une accessibilité tout public au prix d’un manque de fonctionnalités (pour le moment)

Pour autant, il ne faut pas nier l’accessibilité du rapport de la Search Console, disponible gratuitement et aisément pour tout webmaster. Adoptant une esthétique similaire aux autres outils de la plateforme, on y retrouve vite nos repères pour commencer à analyser les données disponibles. Pour autant, l’outil manque encore cruellement de certaines fonctions ! Par exemple, la plage de date étudiée est bloquée aux 90 précédents jours : impossible de choisir une plage de date précise et effectuer une comparaison, par exemple. Cela signifie que vous ne pourrez pas non plus accéder aux données datant de plus de 90 jours, à l’inverse des outils d’analyse de logs server qui vous offriront une bien plus grande malléabilité sur vos données.

On regrette aussi l’absence de filtres permettant d’étudier plus finement les résultats de crawl : étude ciblée sur certaines pages du site ou groupes d’URLs, ce qui est particulièrement utile si votre site présente plusieurs typologies distinctes de pages. On pourrait aussi espérer un filtrage par zone géographique, par type de GoogleBot ou encore par sous-domaine. Mais ne jetons pas pour autant la pierre à Google : il est certain que cet outil sera enrichi par la suite, ce qui en fait une force de plus pour votre stratégie webmarketing.