SEO Technique

Indexation et crawling : les différences expliquées simplement

Explorée mais non indexée : le piège qui coûte des mois. Crawling et indexation sont deux étapes distinctes, et les confondre, c'est chercher au mauvais endroit. Voici comment les distinguer et réparer ce qui bloque vraiment.

Indexation et crawling : les différences expliquées simplement

Un client m'appelle l'autre jour, un peu paniqué : « Mon site a disparu de Google. Enfin, je crois. Enfin, je sais plus. » On ouvre la Search Console ensemble. Le rapport d'exploration affiche une courbe bien verte, des milliers de pages visitées par les robots. Le rapport d'indexation, juste à côté, affiche une tout autre histoire : un tiers des pages marquées « Explorée, actuellement non indexée ». Google est passé, a lu, et a décidé de ne rien en faire. Le site n'avait pas disparu. Il n'avait jamais vraiment existé aux yeux du moteur.

C'est le genre de malentendu qui coûte des mois. Parce que crawling et indexation sont deux opérations distinctes, qui échouent pour des raisons différentes, et qu'on répare avec des outils différents. Confondre les deux, c'est comme appeler un plombier quand le problème vient de l'électricité : ça occupe, ça rassure, ça ne règle rien.

Points clés à retenir

  • Le crawling, c'est la visite : un robot lit une URL et suit les liens qu'elle contient.
  • L'indexation, c'est le classement en bibliothèque : le moteur décide de conserver la page dans sa base.
  • Une page peut être explorée sans être indexée. C'est le cas le plus fréquent, et le plus mal diagnostiqué.
  • Deux balises bloquent deux étapes différentes : robots.txt empêche la visite, noindex empêche l'inscription au fichier.
  • Le positionnement est une troisième étape, encore distincte. Être indexé ne garantit aucun trafic.
  • Search Console sépare ces étapes dans deux rapports différents. Les regarder ensemble évite de chercher au mauvais endroit.

Le crawling, ou le bibliothécaire qui parcourt les rayons

Prenons une bibliothèque. Un employé fait sa ronde : il marche dans les allées, regarde les dos, repère les nouveautés, note les livres déplacés. Il ne lit pas les ouvrages. Il constate leur présence et leur emplacement.

Le crawler fait exactement ça. C'est un programme automatisé qui récupère une URL, lit son code HTML, en extrait les liens sortants, puis met ces liens en file d'attente pour une prochaine visite. Ce ballet recommence en permanence, à une échelle qui défie l'imagination : des milliards d'adresses parcourues chaque jour par les robots des grands moteurs.

Qu'est-ce que le crawling ?

Le crawling désigne l'exploration automatisée du web par des robots, souvent appelés spiders ou crawlers, qui parcourent les pages à la recherche de contenus nouveaux ou modifiés. Concrètement, un robot part d'une adresse connue, lit la page, suit les liens qu'elle contient, et continue de proche en proche.

Trois choses déclenchent ou freinent cette exploration :

  • Les liens internes — plus une page reçoit de liens depuis votre propre site, plus elle sera visitée souvent
  • Le fichier robots.txt, à la racine du domaine, qui interdit l'accès à certaines zones
  • Le sitemap XML, une liste d'adresses que vous tendez au robot pour lui mâcher le travail
  • Et l'âge du capitaine, évidemment : un site récent, sans historique, se fait explorer avec parcimonie

J'ai longtemps cru qu'un sitemap bien rempli suffisait à faire indexer un site entier en une semaine. Faux. Sur un projet de e-commerce que j'ai suivi, j'ai soumis un sitemap de 4 000 URL, persuadé que tout serait avalé en dix jours. Trois semaines plus tard, la Search Console affichait 600 pages explorées. Le reste attendait. Google explore selon son propre budget, pas selon votre impatience.

L'indexation, ou la fiche catalogue

Retour à la bibliothèque. Notre employé a repéré un livre. Maintenant il faut décider quoi en faire : l'inscrire au catalogue, le classer par genre et par auteur, noter sa cote, le rendre trouvable. Ou le laisser dans le bac des retours, faute de place, de pertinence, ou parce qu'il fait doublon avec un autre ouvrage déjà référencé.

Voilà l'indexation. Le moteur analyse le contenu, en extrait le sens, le stocke dans une immense base structurée, et décide s'il mérite d'apparaître dans les résultats. Une page explorée n'est pas automatiquement retenue. C'est une sélection, pas une formalité.

C'est quoi une indexation ?

L'indexation est l'étape où le moteur analyse, organise et stocke le contenu d'une page dans sa base de données, afin de la rendre éligible aux résultats de recherche. Une page non indexée ne peut apparaître dans aucun résultat, quelle que soit sa qualité.

Pourquoi le moteur refuse-t-il des pages ? Les motifs que je rencontre le plus souvent, dans l'ordre :

  1. Le contenu est trop proche d'une autre page du même site (le fameux doublon)
  2. La page est trop vide pour valoir la peine d'être conservée
  3. Une balise noindex traîne dans le code, oubliée depuis un test
  4. Le site est jeune et sa crédibilité encore faible

Le point 3 m'a coûté cher. Sur un site de conseil que je gérais, deux sections entières ne recevaient aucun trafic. Après une heure à vérifier le maillage interne, les titres, la vitesse… je suis tombé sur une balise noindex laissée en place depuis une mise en production six mois plus tôt. Six mois. Une balise de douze caractères. Avouons-le, j'aurais pu commencer par là.

Le tableau qui clarifie tout

Quand on m'interroge sur la différence, je sors ce tableau. Il sépare les deux opérations sur les critères qui comptent vraiment au moment du diagnostic.

Le tableau qui clarifie tout
Critère Crawling Indexation
Qui l'exécute Le robot d'exploration Le moteur, après analyse du contenu
Ce qui se passe Lecture du code et des liens Stockage dans une base structurée
Ce qui le bloque robots.txt, page inaccessible, aucun lien entrant Balise noindex, contenu dupliqué, qualité jugée insuffisante
Où le vérifier Rapport d'exploration, inspection d'URL Rapport d'indexation des pages, commande site:
Conséquence d'un échec La page reste inconnue du moteur La page est connue mais invisible dans les résultats
Réparer Corriger le robots.txt, ajouter des liens internes, soumettre un sitemap Retirer le noindex, consolider les doublons, enrichir le contenu

Et une troisième colonne manque toujours à ce tableau, celle que personne ne réclame : le classement. Une page indexée peut figurer en position 87 et ne jamais être vue. Indexation et visibilité sont deux choses. J'ai vu des sites parfaitement indexés, avec zéro visiteur organique. Le travail technique était irréprochable. Il ne racontait juste rien à personne.

Crawl, index, classement : un entonnoir à trois étages

Chaque étape peut casser indépendamment des deux autres. C'est ce qui rend le diagnostic si contre-intuitif : on corrige l'étage du dessous en croyant réparer celui du dessus.

  • Étage 1 — exploration. Le robot découvre l'URL. S'il est bloqué, tout s'arrête ici.
  • Étage 2 — indexation. Le contenu est conservé. S'il est refusé, la page n'existera dans aucun résultat.
  • Étage 3 — classement. La page est confrontée à ses concurrentes. Ici, la qualité, l'autorité et la pertinence décident.

La méthode de diagnostic en découle mécaniquement. Une page qui ne reçoit rien : commencez par vérifier qu'elle est explorable. Puis indexable. Puis seulement, interrogez-vous sur son contenu. Dans cet ordre. L'inverse fait perdre des semaines à réécrire des titres quand le problème tenait à une ligne de configuration.

C'est quoi l'indexation en bibliothèque ?

Dans le monde des bibliothèques, l'indexation est l'opération qui consiste à décrire un document et à lui attribuer des points d'accès — auteur, titre, sujet, cote — pour le rendre retrouvable dans le catalogue. C'est le travail du bibliothécaire qui analyse un ouvrage et le traduit en une notice consultable.

La comparaison avec le web tient mieux qu'on ne le croit. Un livre rangé au mauvais endroit existe physiquement, mais reste introuvable : c'est la page explorée non indexée. Un livre correctement catalogué mais que personne ne demande reste sur l'étagère : c'est la page indexée mal classée. Et le bibliothécaire qui parcourt les rayonnages pour repérer les nouveautés, c'est le robot en exploration.

La différence tient à l'échelle et au jugement. Le bibliothécaire indexe tout ce qu'il reçoit. Le moteur, lui, trie. Il refuse. Il arbitre. C'est cette sélection automatique qui surprend les éditeurs de contenu, et qui explique pourquoi un site peut être parfaitement visité et n'être quasiment jamais montré.

Doit-on écrire « les index » ou « les indexes » ?

Les deux formes sont acceptées, mais elles ne s'emploient pas dans les mêmes contextes. « Des index » est la forme recommandée et la plus courante, notamment quand on parle de l'index d'un moteur de recherche ou de l'index d'un livre. « Des indexes » reste toléré et s'utilise parfois dans certains domaines techniques, mais l'usage moderne privilégie l'invariabilité.

Ma règle personnelle, et je l'assume : écrivez « index » partout, vous ne vous tromperez jamais. La forme invariable est celle que les dictionnaires contemporains mettent en avant, et celle qu'on retrouve dans la documentation des moteurs.

Les deux balises confondues, et autres pièges

Le piège le plus répandu tient en deux lignes de code, que les gens mélangent constamment. Je le vois à chaque audit.

Les deux balises confondues, et autres pièges
  • robots.txt → interdit au robot de lire la page. Le crawl est bloqué.
  • noindex → interdit au moteur d'inscrire la page au fichier. L'indexation est bloquée.

Et le piège dans le piège : si vous bloquez une URL dans robots.txt tout en plaçant une balise noindex dans son code, le moteur ne pourra jamais lire cette balise. Il ne pourra donc pas en tenir compte. La page reste bloquée à l'étage 1, et vous croyez avoir réglé l'étage 2. J'ai perdu une après-midi entière sur ce scénario l'an dernier, sur un site dont le robots.txt avait été élargi par erreur lors d'une migration. Le symptôme était identique à un problème d'indexation. La cause était à l'étage du dessous.

Un autre, plus discret : les liens en JavaScript. Un robot explore ce qu'il peut lire. Si votre navigation dépend d'un script exécuté côté client, une partie du site peut rester invisible à l'exploration, et donc à l'indexation. Ce n'est pas une fatalité technique, mais c'est un angle à vérifier avant de conclure quoi que ce soit sur la qualité de vos contenus.

Ce que je retiens, après toutes ces confusions

La prochaine fois qu'un site ne « marche pas sur Google », posez la question dans le bon ordre. Est-ce que le robot passe ? Est-ce qu'il garde ? Est-ce qu'il classe ? Trois questions, trois réponses possibles, trois chantiers différents.

Et une chose que j'ai fini par accepter : l'indexation n'est pas un droit, c'est une décision prise par quelqu'un d'autre. Vous fournissez le contenu, vous facilitez le travail du robot, vous vérifiez que rien ne bloque. Le reste ne vous appartient pas. Un peu comme un manuscrit déposé chez un éditeur : vous avez fait votre part, le catalogue décidera.

Charlotte Caron

Charlotte Caron

Charlotte Caron est journaliste, spécialisée dans les domaines du SEO technique et de l’optimisation des performances web. Depuis une dizaine d’années, elle couvre des sujets tels que l’architecture de l’information, le balisage sémantique et l’impact de la vitesse de chargement sur le référencement. Ses articles s’appuient sur une veille constante des mises à jour des moteurs de recherche et des bonnes pratiques techniques.

Voir tous les articles →