Les robots des moteurs de recherche – et notamment Google – analysent sans cesse les sites Internet pour en savoir plus sur leur contenu et savoir comment les classer les uns par rapport aux autres. Cette exploration des différentes pages de votre site s’appelle un crawl Google. Cette activité représente un élément clé du SEO car la façon dont les crawlers analysent votre site déterminent votre positionnement dans les moteurs de recherche.
Données structurées, Core Web Vitals, crawl Google… Autant de concepts qu’il est essentiel d’appréhender pour améliorer le SEO de votre site. Le crawl Google correspond à l’exploration des pages de votre site Internet par les robots des moteurs de recherche.
Cette exploration permet aux robots de recueillir des informations sur votre site et de classer votre site par rapport aux autres sites. Elle est donc primordiale pour le SEO car la réussite du crawl Google a un impact majeur sur votre positionnement dans les résultats de recherche. Il y a deux axes principaux à considérer lorsqu’on parle de crawl Google :
Autant d’aspects à considérer pour l’optimisation de votre site.
Ce qu’il est essentiel de comprendre, c’est que les robots ne disposent que d’un temps et de ressources limitées pour explorer votre site. Avec 1,8 milliards de sites Web dans le monde, vous comprenez bien que Google ne peut pas s’attarder outre-mesure sur chaque site.
Cette réalité aboutit à un autre concept-clé : le budget crawl. Celui-ci correspond au nombre de pages de votre site explorées par Google chaque jour.
Les crawlers prennent en compte différents critères lors de leur passage sur votre site, voici les plus importants :
Ces derniers jours, Google a mis à jour sa documentation pour indiquer que le Googlebot ne crawlerait que les 15 premiers Mo de chaque page explorée. En réalité, il existait déjà un seuil de 10 Mo auparavant, mais cette annonce a provoqué beaucoup de réactions du côté des webmasters. Alors, qu’en est-il vraiment et qu’est-ce que cela signifie pour votre site ?
Cela veut dire qu’au-delà de 15 Mo, le contenu de votre page ne sera pas analysé par le Googlebot et que seuls les 15 premiers Mo seront transmis à l’indexaation.
Voici les propos officiels de Google :
« Googlebot peut explorer les 15 premiers Mo de contenus dans un fichier HTML ou un fichier texte compatible. Au-delà des 15 premiers Mo de fichier, Googlebot arrête l’exploration et ne prend en compte que les 15 premiers Mo de contenus pour l’indexation. »
En général, la plupart de vos pages ne devraient pas représenter plus de 15 Mo. Cela vous permet de proposer une expérience optimale aux visiteurs de votre site. Mais désormais, vous avez une limite précise du contenu que les crawlers analyseront sur chacune de vos pages. En pratique, cela ne change pas grand-chose pour vous car il existe peu de pages dont la taille est supérieure à 15 Mo. Si jamais vous en possédez quelques-unes, discutez avec votre développeur de la possibilité de déplacer certains scripts et éléments CSS vers des fichiers externes.
Il faut savoir que le Googlebot – les robots de Google – ne traite pas tous les sites de la même façon. Lorsqu’il explore votre site, il prend garde à ne pas atteindre les limites de votre serveur, afin de ne pas dégrader l’expérience utilisateur pour les internautes qui sont sur votre site. Ainsi, dès qu’il sent une limite côté serveur, il arrête de crawler votre site. De ce fait, son passage ne dégrade pas l’expérience de vos visiteurs, mais… Si votre serveur est peu performant, le Googlebot n’analysera qu’un nombre limité de pages sur votre site. Certaines de vos pages risquent de ne pas être ‘considérées’ par Google. Le risque, c’est qu’elles n’apparaitront pas dans les résultats de recherche.
L’élément numéro 1 pour faciliter l’exploration de votre site par les moteurs de recherche, c’est donc d’avoir un serveur performant. Celui-ci doit pouvoir supporter un certain nombre de connexions simultanées possibles et permettre un crawl régulier du site. N’oubliez pas que l’objectif final est d’augmenter le temps passé par les crawlers sur le site.
Le second élément à avoir en tête pour améliorer votre budget de crawl, c’est qu’il faut prioriser les pages qui doivent être analysées par les crawlers. Si la hiérarchie n’est pas claire entre vos différentes pages, les crawlers risquent de s’éparpiller et de passer trop de temps sur des pages peu prioritaires en termes business – au détriment des pages les plus importantes.
La meilleure façon d’obtenir des informations sur la façon dont Google crawle votre site est de vous rendre dans le rapport de la Search Console. En accédant à l’onglet Paramètres puis à la rubrique Statistiques sur l’exploration, vous obtiendrez des éléments capitaux pour comprendre les explorations de votre site effectuées par les robots.
Vous pouvez ainsi découvrir le nombre total de demandes d’exploration de votre site par Googlebot sur les 90 derniers jours. Le temps de réponse moyen du serveur est aussi un indicateur clé à considérer : plus votre temps de réponse est bas, plus le nombre d’explorations de votre site est susceptible d’augmenter.
Dans la rubrique Couverture, vous pouvez aussi retrouver des informations sur les pages de votre site auxquelles les robots n’ont pas pu accéder. Cela est important surtout lorsque les erreurs concernent des pages clés de votre site. Si les robots Google ne peuvent pas y accéder, la visibilité sur ces pages risque de décroitre, au détriment de votre business. Vous connaitrez aussi le nombre de pages de votre site indexées, c’est-à-dire reconnues par Google. Pour aider Google à savoir quelles sont les pages qu’il doit considérer, n’oubliez pas de les ajouter dans votre sitemap.
Il existe quelques astuces indispensables à mettre en place pour éviter que le crawl Google ne desserve votre site :
Voilà, c’est tout pour notre introduction au crawl Google. Gardez en tête que la façon dont les robots des moteurs de recherche voient votre site est essentielle pour augmenter votre visibilité dans les résultats de recherche. Plus le contenu que vous proposez est pertinent et plus vos pages sont accessibles et optimisées, plus les robots indexeront vos pages.
Si vous voulez mieux comprendre le crawl de votre site, il est nécessaire de réaliser un audit de log seo pour saisir le parcours des moteurs. Nous pouvons vous proposer ces analyses si nécessaire. Contactez-nous et nous vous expliquerons comment optimiser votre budget crawl.
Améliorez vos connaissances en webmarketing Digital
Stratégie et techniques d’acquisition en SEA, SEO et sur les réseaux sociaux. Reussissez vos synergies cross canal. AEP Digital vous propose des conseils pour réussir votre stratégie webmarketing
L’évolution de la recherche vers une expérience générative Selon Sundar Pichai, l’IA a transformé Google Search au fil des années Google n’est plus simplement “un TOP10 de liens”. Depuis l’avènement […]
Analyse de la stratégie de crawl de Google Gary Illyes a récemment déclaré sur LinkedIn son objectif de réduire le crawl. Bien que Google ait précisé que le volume global […]
La Search Generative Experience (SGE), ChatGPT et Copilot de Google pourraient envahir les résultats de recherche parce qu’ils offrent une expérience utilisateur rapide et facile. Le trafic sur les sites […]
Google recommande aux propriétaires de sites d’obtenir de bons scores de Core Web Vitals pour favoriser leur positionnement dans les résultats de recherche et garantir une expérience utilisateur de qualité. […]