Le fichier robots.txt est un simple fichier texte placé à la racine d’un site WordPress. Il sert à communiquer avec les robots d’exploration des moteurs de recherche comme Googlebot ou Bingbot. Son rôle principal consiste à indiquer quelles pages ou sections du site peuvent être explorées et lesquelles doivent être ignorées.
Concrètement, ce fichier contient des directives sous forme de règles. On y utilise des instructions comme User-agent pour cibler un robot précis, Disallow pour bloquer l’accès à un répertoire et Allow pour autoriser l’exploration d’un chemin spécifique. On peut aussi y ajouter l’URL du sitemap XML afin de faciliter l’indexation du site.
Sur WordPress, un fichier robots.txt virtuel est généré automatiquement. Il bloque par défaut l’accès au répertoire /wp-admin/ tout en autorisant le fichier admin-ajax.php. Vous pouvez le personnaliser manuellement en créant un fichier physique à la racine de votre installation, ou en utilisant une extension SEO comme Yoast SEO ou Rank Math. Bien configurer son robots.txt contribue à optimiser le budget de crawl et à protéger certaines ressources sensibles de votre site.
💡 Bon à savoir : Le fichier robots.txt ne garantit pas qu’une page reste privée, car certains robots peuvent ignorer ses directives. Pour empêcher réellement l’indexation d’une page, utilisez plutôt la balise meta noindex directement dans son code source.
