En 2026, j'ai audité un site e-commerce avec 12 000 pages indexées. Problème : seulement 340 pages généraient du trafic organique. Le coupable ? Un fichier robots.txt mal configuré qui laissait Google explorer des pages de filtres, de tris et de résultats de recherche internes. Résultat : un crawl budget gaspillé, des pages importantes noyées dans la masse, et un chiffre d'affaires qui stagnait. Si vous gérez un site e-commerce, votre fichier robots.txt n'est pas un détail technique — c'est un levier d'optimisation SEO direct. Et en 2026, avec des algorithmes Google qui crawlent de plus en plus intelligemment mais qui restent sensibles à la structure, le configurer correctement peut faire la différence entre une boutique qui cartonne et une autre qui reste invisible.
Points clés à retenir
- Le fichier robots.txt contrôle ce que Google explore, pas ce qu'il indexe — ne confondez pas les deux.
- Pour un e-commerce, les pages à exclure sont les filtres, les tris, les paniers, les comptes utilisateurs et les résultats de recherche internes.
- Un mauvais robots.txt peut bloquer accidentellement des pages importantes — toujours tester avant de déployer.
- En 2026, Google utilise le crawl budget comme facteur de classement : gaspiller des crawls sur des pages inutiles pénalise vos pages stratégiques.
- Les directives
DisallowetAllowdoivent être précises, pas génériques. - La directive
Crawl-delayest obsolète pour Google — ne l'utilisez plus.
Pourquoi le robots.txt est crucial pour un e-commerce en 2026
Quand j'ai commencé le SEO il y a sept ans, je pensais que le robots.txt était un fichier qu'on laissait par défaut. Grave erreur. En 2026, Google crawle en moyenne 3,7 millions de pages par jour sur un site e-commerce de taille moyenne (source : Search Engine Land, 2025). Si votre fichier ne dit pas clairement ce qui est important, le robot de Google va explorer des pages de filtres, des pages de catégories vides, des pages de panier, et zapper vos fiches produits stratégiques.
Et là, surprise : votre crawl budget — le nombre de pages que Google explore sur votre site — est limité. En 2026, Google a confirmé que le crawl budget est un facteur de classement indirect : si vos pages importantes ne sont pas crawlées régulièrement, elles ne seront pas indexées, et donc pas classées. Pour un site e-commerce avec des milliers de produits, c'est un problème existentiel.
Robots.txt vs indexation : ne mélangez pas
Franchement, c'est l'erreur n°1 que je vois. Le fichier robots.txt empêche l'exploration, pas l'indexation. Une page peut être bloquée dans robots.txt mais quand même apparaître dans Google si un autre site la référence. Pour empêcher l'indexation, il faut utiliser la balise noindex ou l'en-tête X-Robots-Tag. Le robots.txt, lui, dit simplement : « Ne viens pas explorer cette page. »
Je me souviens d'un client qui avait mis Disallow: / dans son robots.txt pour « protéger » son site en développement. Résultat : Google n'a plus exploré aucune page pendant 3 semaines. Le site a perdu 60 % de son trafic. Bref, manipulez ce fichier avec précaution.
Les pages à exclure obligatoirement dans un e-commerce
Sur un site e-commerce, certaines pages n'ont aucun intérêt pour Google. Les explorer, c'est du crawl gaspillé. En voici la liste, basée sur mon expérience avec plus de 30 sites e-commerce audités.
- Pages de filtres et de tris :
/categorie?couleur=rouge,/categorie?prix=10-20. Ces URLs génèrent des milliers de combinaisons inutiles. - Pages de résultats de recherche interne :
/search?q=.... Google n'a rien à y faire. - Panier et checkout :
/cart,/checkout. Ces pages changent constamment et n'ont pas de valeur SEO. - Comptes utilisateurs :
/account,/login,/wishlist. Pages privées, pas de contenu utile. - Pages de pagination infinie ou vides :
/categorie?page=200ou des catégories sans produits. - Pages de tags et d'étiquettes :
/tag/promotionsi elles dupliquent du contenu.
Exemple concret de gaspillage
J'ai travaillé avec une boutique de vêtements qui avait 45 000 pages de filtres (taille, couleur, matière) pour seulement 2 000 produits. Google explorait ces filtres quotidiennement, laissant les vraies fiches produits avec 2 crawls par mois. Après avoir bloqué les filtres dans robots.txt, le trafic organique a augmenté de 35 % en 8 semaines. Pourquoi ? Parce que Google a commencé à crawler et indexer les pages importantes plus souvent.
Comment structurer votre fichier robots.txt pour un e-commerce
Voici un modèle que j'utilise pour mes clients e-commerce. Adaptez les chemins à votre CMS (Shopify, Magento, WooCommerce, etc.).
User-agent: *
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /wishlist/
Disallow: /search/
Disallow: /*?filter=*
Disallow: /*?sort=*
Disallow: /*?page=*
Disallow: /tag/
Allow: /
User-agent: Googlebot-Image
Disallow: /account/
Disallow: /cart/
Allow: /wp-content/uploads/
Allow: /media/
Sitemap: https://www.votresite.com/sitemap.xmlExplication :
User-agent: *: s'applique à tous les robots (Google, Bing, etc.).Disallow: /cart/: bloque l'exploration du panier.Disallow: /*?filter=*: bloque toutes les URLs contenant un paramètrefilter.Allow: /: autorise tout le reste (important pour ne pas bloquer accidentellement).User-agent: Googlebot-Image: permet aux images d'être explorées (pour le SEO images).Sitemap: ...: indique l'emplacement de votre sitemap (Google l'utilise).
Directives spécifiques par CMS
Chaque CMS a ses propres URLs à bloquer. Voici un tableau comparatif basé sur mon expérience :
| CMS | Chemins à bloquer | Exemple de Disallow |
|---|---|---|
| Shopify | /cart, /account, /search, /collections/*?filter= | Disallow: /cart/ |
| WooCommerce | /cart, /checkout, /my-account, /?add-to-cart= | Disallow: /*?add-to-cart=* |
| Magento | /checkout, /customer, /catalogsearch, /?___store= | Disallow: /catalogsearch/ |
| PrestaShop | /order, /module, /search, /?controller= | Disallow: /*?controller=* |
Astuce : utilisez /*?paramètre=* pour bloquer tous les paramètres d'URL en une ligne. Mais attention : si un paramètre est essentiel (comme ?id= pour une fiche produit), ne le bloquez pas.
Les erreurs courantes qui coûtent du trafic
J'ai vu des erreurs catastrophiques. En voici trois qui reviennent systématiquement.
Bloquer accidentellement les feuilles de style
En 2026, Google utilise le rendu mobile-first. Si votre robots.txt bloque l'accès aux fichiers CSS et JavaScript, Google ne peut pas voir vos pages correctement. Résultat : vos pages sont considérées comme vides ou mal rendues, et leur classement chute. Vérifiez que vous n'avez pas Disallow: /wp-content/ ou Disallow: /assets/ — ça bloque tout.
Utiliser Crawl-delay pour Google
La directive Crawl-delay était utilisée pour ralentir les robots. Depuis 2020, Google l'ignore complètement. En 2026, c'est pire : Bing et Yandex l'utilisent encore, mais Google utilise son propre algorithme de crawl. Ne perdez pas de temps avec ça.
Ne pas inclure la sitemap
La ligne Sitemap: https://... dans robots.txt n'est pas obligatoire, mais elle aide Google à trouver vos pages importantes. En 2026, Google utilise la sitemap comme signal prioritaire pour le crawl. Sans elle, vos nouvelles fiches produits peuvent mettre des semaines à être découvertes. Je l'ai vu arriver sur un site avec 500 nouveaux produits par mois : sans sitemap dans robots.txt, seulement 30 % étaient indexés après 30 jours.
Tester et maintenir votre fichier robots.txt
Configurer, c'est bien. Tester, c'est mieux. Voici comment je procède.
Utiliser les outils Google
Dans Google Search Console, allez dans « Exploration » > « Test de robots.txt ». Collez votre fichier et testez des URLs spécifiques. Par exemple, testez une fiche produit, une page de catégorie, et une page de filtre. Vérifiez que les pages importantes sont « Autorisées » et que les pages inutiles sont « Bloquées ».
En 2026, Google a ajouté une fonctionnalité : le rapport de crawl budget dans Search Console. Il montre quelles pages Google explore le plus. Si vous voyez des pages de filtres dans le top 10, c'est que votre robots.txt n'est pas assez restrictif.
Surveiller les changements de votre site
Quand vous ajoutez une nouvelle fonctionnalité (un nouveau filtre, une nouvelle page de compte), mettez à jour votre robots.txt immédiatement. J'ai un client qui a ajouté un système de comparaison de produits — des centaines de nouvelles URLs — sans toucher au robots.txt. Google a exploré ces pages pendant 2 mois avant que je ne les bloque. Perte de crawl : énorme.
Pour une optimisation de la structure technique de votre site, le robots.txt n'est qu'une pièce du puzzle. Mais c'est une pièce essentielle.
Conclusion : ne laissez pas votre robots.txt au hasard
En 2026, configurer un fichier robots.txt pour un site e-commerce, ce n'est pas une option. C'est une étape obligatoire pour optimiser votre crawl budget, éviter les pages inutiles, et booster votre trafic organique. J'ai vu des sites doubler leur trafic en 3 mois juste en bloquant les pages de filtres et en ajoutant leur sitemap.
Alors, votre prochaine action ? Ouvrez votre fichier robots.txt (accessible à https://www.votresite.com/robots.txt). Vérifiez qu'il bloque les pages de filtres, de recherche, de panier et de compte. Ajoutez votre sitemap. Testez avec Google Search Console. Et surtout, ne le laissez pas par défaut.
Si vous voulez aller plus loin, combinez cette configuration avec une stratégie d'optimisation on-page solide pour maximiser l'impact. Et si vous débutez en SEO, n'oubliez pas que le robots.txt n'est qu'un outil parmi d'autres — mais c'est celui qui peut tout faire basculer.
Questions fréquentes
Le fichier robots.txt peut-il empêcher une page d'être indexée ?
Non. Le robots.txt empêche l'exploration, pas l'indexation. Si une page est bloquée dans robots.txt mais qu'un autre site la référence, Google peut l'indexer. Pour empêcher l'indexation, utilisez la balise noindex dans le code HTML ou l'en-tête HTTP X-Robots-Tag. Le robots.txt est une barrière, pas une serrure.
Dois-je bloquer les pages de catégories dans robots.txt ?
Non, sauf si elles sont vides ou dupliquées. Les pages de catégories principales (ex : /vetements/, /chaussures/) sont souvent des pages importantes qui génèrent du trafic. Bloquez uniquement les pages de filtres, de tris, et de sous-catégories qui n'ont pas de contenu unique.
Comment savoir si mon robots.txt est correctement configuré ?
Utilisez le test de robots.txt dans Google Search Console. Testez une dizaine d'URLs : fiches produits, catégories, filtres, pages de compte. Vérifiez que les pages importantes sont « Autorisées » et que les pages inutiles sont « Bloquées ». Vous pouvez aussi utiliser des outils comme Screaming Frog pour simuler le crawl.
Quelle est la différence entre Disallow et Allow ?
Disallow indique au robot de ne pas explorer un chemin. Allow indique qu'il peut l'explorer. En général, on utilise Allow: / après des Disallow pour s'assurer que tout le reste est accessible. L'ordre des directives a de l'importance : Google applique la directive la plus spécifique.
Puis-je utiliser des wildcards (*) dans robots.txt ?
Oui, Google supporte les wildcards. Par exemple, Disallow: /*?filter=* bloque toutes les URLs contenant le paramètre filter. Mais attention : les wildcards peuvent être trop larges. Testez toujours avant de déployer. Pour des exclusions précises, préférez des chemins explicites.
