Un client m'appelle un matin, paniqué. Son site e-commerce compte 180 000 URLs. Google en a indexé 4 200. Les fiches produits qui rapportent sont absentes des résultats depuis trois semaines, alors que les pages de filtres à facettes, elles, sont indexées par milliers. Le diagnostic est tombé en dix minutes : Googlebot passait 78 % de son temps sur des URLs qu'il n'aurait jamais dû voir.
C'est le problème de crawl budget dans sa forme la plus classique. Et la bonne nouvelle, c'est qu'il se résout. Pas avec une formule magique, mais avec une méthode : mesurer, comprendre l'allocation actuelle du robot, puis couper ce qui ne mérite pas d'être exploré.
Points clés à retenir
- Le crawl budget n'est pas un quota fixe : c'est le résultat de la rencontre entre ce que votre serveur peut encaisser et ce que Google a envie d'explorer.
- On ne le mesure pas avec un outil unique, mais en croisant les logs serveur, le rapport d'exploration de la Search Console et l'état d'indexation réel.
- Un gaspillage anormal se détecte à un chiffre : la part d'explorations qui atterrissent sur des URLs non indexables.
- Les pages à facettes, les paramètres d'URL et les redirections en chaîne sont les trois fuites les plus fréquentes.
- Bloquer ne suffit pas : il faut aussi diriger le robot vers ce qui compte, via une maille interne solide.
Comprendre le crawl budget avant de vouloir le réparer
Googlebot dispose d'un budget de deux natures. La première, c'est une limite de débit : combien de requêtes votre hébergement peut absorber sans s'écrouler. Cette limite, Google la calcule lui-même en fonction de la vitesse de réponse de vos serveurs et du taux d'erreurs qu'il rencontre. Un serveur lent ou qui renvoie des 500 en série fait mécaniquement baisser ce plafond. Je l'ai vérifié sur un site mal configuré : le simple fait de passer d'un hébergement mutualisé à un serveur correct a doublé le nombre de pages explorées par jour, sans toucher à un seul fichier robots.txt.
La seconde nature, c'est la demande d'exploration. Là, c'est Google qui décide. Sa popularité estimée, sa fraîcheur, le nombre de liens internes et externes qui pointent vers elle, tout cela pèse. Une page orpheline que personne ne lie n'a presque aucune chance d'être explorée souvent, même si elle est dans votre sitemap.
Pourquoi le budget déraille
Quand un site dépasse quelques milliers de pages, trois choses se produisent presque toujours :
- Le nombre d'URLs générées automatiquement explose, souvent à cause de paramètres de tri ou de filtres qui créent des variantes infinies.
- Les redirections s'empilent au fil des refontes, et chaque chaîne consomme des requêtes sans rien apporter.
- Les pages supprimées restent accessibles en 404, parfois pendant des mois, et continuent d'être réexplorées.
Résultat : le robot passe son temps sur des adresses sans valeur et n'a plus assez de « visites » pour vérifier les nouveautés. Sur le site du client mentionné plus haut, une simple règle de robots.txt sur les paramètres de tri a fait remonter l'exploration des fiches produits de 12 % à 41 % du crawl total en cinq semaines.
Comment mesurer concrètement votre crawl budget
Voici le manque le plus courant dans les articles sur le sujet : personne ne dit comment mesurer. Or sans chiffres, on optimise à l'aveugle.
Les logs serveur, source de vérité
C'est le point de départ. Vous y trouvez chaque passage de Googlebot avec l'URL demandée, le code de statut retourné et la taille de la réponse. Filtrez sur le user-agent de Googlebot, puis agrégez sur une semaine. Trois ratios comptent :
- La part d'explorations qui renvoient un code 200 sur des pages réellement indexables.
- Le pourcentage de hits sur des 404, 301 chaînées et 5xx.
- La répartition par type de gabarit (fiches, catégories, filtres, pagination).
Sur un site sain, la part d'explorations utiles dépasse généralement les 60 %. En dessous de 40 %, vous avez une fuite sérieuse.
Le rapport d'exploration de la Search Console
Il donne des tendances, pas de la précision chirurgicale. Il vous indique le volume total de requêtes par jour, la répartition par type de fichier et le temps de réponse moyen. Utilisez-le pour détecter une baisse soudaine ou pour comparer le crawl demand (ce que Google veut explorer) avec le crawl rate limit (ce qu'il peut explorer). Un écart net entre les deux vous dit où chercher.
Le ratio exploré / indexé
Combien d'URLs Google a-t-il explorées cette semaine ? Combien en a-t-il réellement indexées ? Si vous explorez 50 000 pages et que 2 000 finissent à l'index, il y a un problème soit de qualité de contenu, soit de sélection d'URLs. Les deux se traitent différemment, donc distinguez-les avant d'agir.
| Indicateur | Valeur saine | Signal d'alerte |
|---|---|---|
| Explorations utiles (200 indexables) | > 60 % | < 40 % |
| Hits sur 404 et redirections | < 10 % | > 25 % |
| URLs explorées non indexées | Variable, mais stable | En forte croissance |
| Temps de réponse serveur (médiane) | < 500 ms | > 1 s |
Les leviers qui font vraiment bouger les choses
Une fois le diagnostic posé, on agit. Dans l'ordre d'impact décroissant, d'après mon expérience sur une bonne dizaine de sites.
Le robots.txt : cibler, pas mitrailler
Beaucoup de gens bloquent trop largement et se coupent l'herbe sous le pied. Bloquez les paramètres d'URL sans valeur sémantique, les recherches internes, les paniers, les sessions. Mais laissez passer ce que vous voulez voir indexé. Une ligne comme Disallow: /*?sort= suffit souvent à assainir la situation sans casser le reste.
La maille interne
Le crawl suit les liens. Si vos fiches produits ne sont accessibles qu'au bout de cinq clics depuis l'accueil, elles seront peu explorées. Remontez les pages stratégiques à deux ou trois clics maximum. Le sitemap XML aide, mais il ne remplace pas une navigation interne propre.
Les redirections et erreurs
Une redirection en chaîne de trois sauts, c'est trois requêtes pour une seule finalité. Nettoyez les chaînes, supprimez les redirections qui pointent vers des 404, corrigez les liens internes cassés. Sur des sites anciens, cette étape seule peut récupérer 15 à 20 % du budget gaspillé.
La vitesse serveur
C'est le plafond invisible. Si votre TTFB dépasse la seconde, Google baisse son rythme. Cache, CDN, optimisation des requêtes base de données. Il n'y a pas de secret.
À partir de quand faut-il s'inquiéter ?
Un site de 500 pages n'a pas besoin de se pencher sur son crawl budget. Google explore tout, souvent en quelques jours, et le sujet est un faux problème. En dessous de 10 000 URLs, concentrez-vous sur la qualité du contenu et la vitesse.
Au-delà, et surtout si vous dépassez les 100 000 URLs, la question devient centrale. Le symptôme typique : des nouvelles pages qui mettent des semaines à apparaître dans l'index, alors que des vieilles URLs sans intérêt sont réexplorées chaque jour. Quand vous voyez ça, vous avez votre réponse.
Trois erreurs que j'ai commises (et que vous pouvez éviter)
La première fois que j'ai touché à un robots.txt sur un gros site, j'ai bloqué toutes les URLs contenant un point d'interrogation. Mauvaise idée : j'ai aussi bloqué la pagination et une partie du catalogue. J'ai perdu deux semaines d'indexation avant de comprendre.
Deuxième erreur : faire confiance au sitemap comme unique source de découverte. Google s'en sert comme indice, pas comme feuille de route. Un sitemap de 200 000 URLs ne fera pas explorer 200 000 URLs s'il n'y a pas de liens internes pour les soutenir.
Troisième erreur, plus sournoise : croire qu'un blocage robots.txt retire une page de l'index. Non. Il empêche l'exploration, mais pas l'indexation si un lien externe pointe vers la page. Pour vraiment sortir une URL, il faut un noindex avant de la bloquer. L'ordre compte.
Suivre les résultats sans se raconter d'histoires
Ne regardez pas vos chiffres tous les jours. Le crawl évolue lentement, sur des cycles de plusieurs semaines. Prenez une mesure avant, une mesure quatre à six semaines après, et comparez les ratios du tableau plus haut. Si la part d'explorations utiles grimpe de 20 points, vous êtes sur la bonne voie.
Ce qui reste après tout ça, c'est une leçon qui dépasse le crawl : votre site n'est pas jugé sur ce qu'il contient, mais sur ce qui est accessible et jugeable. Une page magnifique que Google ne voit jamais n'existe pas. Et le jour où vous comprenez ça, vous arrêtez de produire pour vous et vous commencez à produire pour être trouvé.
