Votre robots.txt bloque-t-il Google sans le savoir ?

Robot bleu, loupe et symbole d'interdiction illustrant un fichier robots.txt WordPress qui bloque Google sans le savoir

Vous publiez régulièrement, vous surveillez vos positions, et pourtant certaines pages de votre site WordPress n’apparaissent jamais dans Google. Avant de remettre en cause votre contenu ou vos liens, il existe un fichier minuscule, souvent ignoré, qui peut à lui seul expliquer le problème : robots.txt. Une seule ligne mal placée dans ce fichier suffit à empêcher Googlebot d’explorer une partie entière de votre site, sans message d’erreur visible dans l’administration WordPress.

Ce guide explique concrètement ce qu’est le fichier robots.txt généré par WordPress, comment vérifier s’il bloque des pages importantes de votre site, et comment le corriger sans prendre de risque pour votre référencement.

Qu’est-ce que le fichier robots.txt sur un site WordPress ?

Le fichier robots.txt est un simple fichier texte, placé à la racine d’un site, qui donne des instructions aux robots d’exploration (Googlebot en tête) sur les zones qu’ils peuvent ou ne peuvent pas parcourir. Il est accessible publiquement à l’adresse votresite.com/robots.txt.

Sur WordPress, il n’est généralement pas nécessaire de créer ce fichier à la main : WordPress en génère un virtuellement dès l’installation, même si aucun fichier physique n’existe sur le serveur. Il ressemble le plus souvent à ceci :

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

C’est volontairement minimaliste. Dès qu’un plugin SEO comme Yoast, Rank Math ou All in One SEO est activé, il prend le relais et permet de modifier ce contenu directement depuis l’administration, sans toucher aux fichiers du serveur.

Un point mérite d’être clarifié tout de suite, car c’est la source de la plupart des erreurs : robots.txt ne gère que l’exploration (le crawl), pas l’indexation. Une page bloquée dans robots.txt peut malgré tout apparaître dans les résultats de recherche si Google trouve des liens pointant vers elle ailleurs sur le web, simplement sans description ni contenu affiché. Pour empêcher réellement l’indexation d’une page, c’est la balise meta robots noindex qu’il faut utiliser, pas une ligne Disallow. Ahrefs détaille bien cette nuance, qui reste mal comprise même chez des éditeurs de sites expérimentés.

Comment vérifier le robots.txt de votre site en 2 minutes

Avant de chercher plus loin, vérifiez l’état actuel de votre fichier. Trois vérifications suffisent :

  • Consultez le fichier directement en tapant votresite.com/robots.txt dans votre navigateur. C’est la version exacte que Google voit.
  • Repérez les lignes Disallow et demandez-vous, pour chacune, si elle bloque un dossier qui contient des pages ou des images que vous voulez voir indexées.
  • Utilisez le rapport d’indexation de Google Search Console : la section « Pages » y liste explicitement les URL exclues avec le motif « Bloquée par le fichier robots.txt », ce qui permet de repérer un blocage involontaire sans deviner.

Si votre site est sorti récemment d’un environnement de préproduction (staging), c’est le premier endroit à vérifier : une ligne Disallow: / oubliée après une mise en ligne est l’une des causes les plus fréquentes de perte brutale de visibilité sur un site WordPress.

Les erreurs robots.txt qui bloquent Google sans que vous le sachiez

Certaines erreurs reviennent nettement plus souvent que d’autres sur les sites WordPress que nous auditons.

Le fameux Disallow: / resté actif après une migration

WordPress propose une option native, dans Réglages → Lecture, pour « Décourager les moteurs de recherche d’indexer ce site ». Cette case, pratique en développement, ajoute une ligne qui bloque l’intégralité du site dans robots.txt. Oubliée après la mise en production, elle rend tout le site invisible pour Google pendant des semaines, sans qu’aucune alerte n’apparaisse dans l’administration.

Le blocage accidentel des images et des fichiers CSS/JS

Bloquer tout le dossier /wp-content/uploads/ ou /wp-content/ dans son ensemble empêche Google d’explorer vos images, ce qui réduit vos chances d’apparaître dans Google Images ou dans Google Discover. Bloquer les fichiers CSS et JavaScript peut, dans certains cas, empêcher Google de rendre correctement la page et d’évaluer son expérience utilisateur mobile. Kinsta documente plusieurs cas concrets où ce type de blocage fait apparaître l’avertissement « Indexée, bien que bloquée par le fichier robots.txt » dans Search Console.

Une directive Sitemap absente ou qui pointe vers la mauvaise URL

Ce n’est pas une erreur bloquante, mais une occasion manquée : ajouter la ligne Sitemap: https://votresite.com/sitemap_index.xml à la fin du fichier aide les robots à découvrir rapidement l’ensemble de vos URL. Si votre site a changé de structure récemment, vérifiez que cette ligne pointe toujours vers le bon fichier, comme nous l’expliquons plus en détail dans notre guide sur le sitemap XML WordPress.

Que faut-il bloquer (et surtout ne jamais bloquer) sur WordPress ?

Voici une base raisonnable pour la grande majorité des sites WordPress :

  • À bloquer : /wp-admin/ (sauf admin-ajax.php, nécessaire à de nombreux plugins), les pages de résultats de recherche interne (/?s=), les paramètres de tri ou de session dupliqués, et les dossiers techniques générés par certains plugins de cache.
  • À ne jamais bloquer intégralement : /wp-content/, /wp-content/uploads/, /wp-includes/ (certains thèmes y chargent des ressources nécessaires au rendu), ainsi que vos pages de catégories, d’articles et vos fichiers CSS/JS.

En cas de doute sur une directive précise, la règle la plus sûre reste de ne pas bloquer, puis de gérer l’indexation page par page avec la balise meta robots si besoin : c’est un réglage plus fin et plus sûr qu’un blocage global dans robots.txt.

Comment modifier le robots.txt sur WordPress

Avec un plugin SEO (recommandé) : dans Yoast SEO, ouvrez Outils → Éditeur de fichiers. Dans Rank Math, rendez-vous dans Réglages généraux → Modifier robots.txt. All in One SEO propose la même fonctionnalité sous Outils → Éditeur de robots.txt. Dans les trois cas, vous éditez un fichier robots.txt virtuel directement depuis l’administration WordPress, sans accès FTP.

Avec un fichier physique (cas avancés) : si vous avez besoin de règles très spécifiques non gérées par votre plugin, vous pouvez créer un fichier robots.txt à la racine de votre installation WordPress via FTP ou le gestionnaire de fichiers de votre hébergeur. Ce fichier physique prend alors le pas sur la version virtuelle générée par WordPress.

Après chaque modification, revenez tester votresite.com/robots.txt pour confirmer que le changement a bien été pris en compte, puis demandez une nouvelle exploration dans Search Console si vous avez débloqué des pages importantes.

Le lien entre robots.txt et l’indexation dans Search Console

Selon la documentation officielle de Google sur robots.txt, ce fichier reste une directive technique, pas une garantie de confidentialité : il ne faut jamais l’utiliser pour cacher des informations sensibles, puisqu’il est public et que certaines pages bloquées peuvent malgré tout être visibles autrement. Si vous constatez dans Search Console que des pages que vous souhaitez indexer sont marquées « Bloquée par le fichier robots.txt », et que cela rejoint des alertes plus larges de non-indexation sur votre site, notre article sur les causes d’un site non indexé sur Google passe en revue les autres explications possibles (balise noindex, canonical mal configurée, contenu dupliqué, etc.).

FAQ : robots.txt sur WordPress

Le fichier robots.txt empêche-t-il Google d’indexer une page ?

Non. robots.txt bloque uniquement l’exploration de la page par les robots, pas son indexation. Une page bloquée peut tout de même apparaître dans les résultats de recherche si Google trouve des liens pointant vers elle, mais sans description extraite de son contenu. Pour empêcher réellement l’indexation, il faut utiliser la balise meta robots noindex.

Où se trouve le fichier robots.txt sur un site WordPress ?

À la racine du site, à l’adresse votresite.com/robots.txt. WordPress en génère un virtuellement par défaut si aucun fichier physique n’est présent sur le serveur, et la plupart des plugins SEO permettent de le modifier directement depuis l’administration.

Faut-il bloquer le dossier wp-admin dans robots.txt ?

Oui, c’est la configuration par défaut recommandée, à l’exception du fichier admin-ajax.php qui doit rester accessible : de nombreux plugins et thèmes WordPress l’utilisent pour charger du contenu dynamique, y compris sur des pages publiques.

Comment savoir si mon robots.txt bloque des pages importantes ?

Le moyen le plus fiable est le rapport d’indexation de Google Search Console, qui liste précisément les URL exclues avec le motif « Bloquée par le fichier robots.txt ». Une lecture manuelle du fichier à l’adresse votresite.com/robots.txt permet aussi de repérer rapidement une ligne Disallow suspecte.

Quel plugin WordPress permet de modifier facilement le robots.txt ?

Yoast SEO, Rank Math et All in One SEO proposent tous les trois un éditeur intégré qui permet de modifier le fichier robots.txt virtuel directement depuis l’administration WordPress, sans accès FTP ni connaissance technique particulière.

Passez à l’action

Un fichier robots.txt mal réglé ne provoque aucune erreur visible dans WordPress : c’est justement ce qui le rend dangereux. Prenez deux minutes pour consulter le vôtre, croisez-le avec le rapport d’indexation de Search Console, et corrigez ce qui doit l’être avant de chercher d’autres explications à une baisse de trafic.

Vous avez un doute sur la configuration technique de votre site WordPress ? Contactez Flowr Agency pour un audit SEO technique complet et des recommandations concrètes adaptées à votre site.

Je partage !
Facebook
Twitter
Pinterest