Le robots.txt est un fichier texte placé à la racine du domaine qui indique aux moteurs de recherche quelles zones ils peuvent ou ne peuvent pas explorer. Il agit sur le référencement de manière indirecte : il ne fait pas monter une page, mais il décide de ce que Googlebot a le droit de parcourir. Bien réglé, il concentre l'exploration sur vos contenus à valeur. Mal réglé, il prive l'index de pages stratégiques ou laisse les robots se perdre dans des sections sans intérêt.
Un fichier qui guide l'exploration, pas le positionnement
La fonction du robots.txt se limite à l'accès. Une directive `Disallow` dit à un robot conforme de ne pas explorer un chemin donné. Cela ne change rien à la pertinence perçue d'une page ni à sa note de qualité. L'influence passe par un effet de levier sur le crawl : en fermant les zones inutiles (panier, filtres à facettes, pages de recherche interne, environnements de test), vous laissez plus de ressources d'exploration aux pages qui doivent ressortir.
Cette logique de répartition pèse surtout sur les gros sites. Pour le volume d'URL que les robots traitent par cycle, voyez l'impact du budget crawl.
Ce que ça change
Sur un site de quelques dizaines de pages, l'effet du robots.txt sur le référencement reste marginal. Plus le site grossit, plus il devient un levier d'arbitrage entre ce qui mérite d'être exploré et ce qui dilue l'effort des robots.
Le piège : confondre blocage de crawl et retrait de l'index
L'erreur la plus coûteuse consiste à croire que `Disallow` retire une page des résultats. C'est faux. Si une URL bloquée reçoit des liens, Google peut tout de même l'afficher dans ses résultats, souvent sans description, parce qu'il en connaît l'existence sans avoir pu en lire le contenu. Pire : bloquer une page empêche le robot de voir une éventuelle balise `noindex`, qui devient alors inopérante.
Les deux outils répondent à deux besoins distincts :
- Empêcher l'exploration d'une zone (économiser le crawl, masquer un back-office) : robots.txt.
- Empêcher l'indexation d'une page tout en la laissant lisible : balise meta `noindex` ou en-tête `X-Robots-Tag`.
- Retirer une page existante des résultats : `noindex` accessible au crawl, ou redirection `301` vers la nouvelle adresse.
Pour traiter le cas d'une URL retirée du site, voyez si une page dépubliée reste visible par Google.
Le faux ami du robots.txt
Bloquer une page sensible dans le robots.txt revient à publier sa liste : le fichier est public et lisible par tous. Pour cacher un contenu, une protection serveur ou un `noindex` sont les bonnes réponses, jamais une simple ligne `Disallow`.
En pratique : les réglages qui font la différence
Un robots.txt sain reste court et lisible. Ici, l'angle se limite au fichier lui-même : pour la vue d'ensemble de l'accès technique d'un site aux robots (vitesse serveur, codes de réponse, structure des liens), voyez comment optimiser l'accès de Googlebot à votre site. Côté robots.txt seul, quelques réflexes limitent les fuites de crawl :
- Ne bloquez jamais le CSS et le JavaScript nécessaires au rendu : un robot qui ne charge pas vos ressources voit une page cassée.
- Déclarez l'URL de votre sitemap XML en bas du fichier, pour donner aux moteurs un point d'entrée vers vos pages utiles.
- Vérifiez le fichier après chaque refonte ou migration : un `Disallow: /` oublié depuis l'environnement de recette est un classique qui désindexe un site entier.
Prenons un cas courant : une boutique en ligne génère des milliers d'URL de filtres combinés (couleur plus taille plus tri). Laisser les robots toutes les explorer noie les fiches produits réelles sous des variantes sans valeur. Un `Disallow` ciblé sur le motif de ces paramètres recentre l'exploration là où elle compte, sans rien retirer de l'index existant.
La vérification minute
Le robots.txt se consulte à l'adresse `votredomaine.fr/robots.txt`. Le lire à voix haute ligne par ligne après une mise en production évite la majorité des accidents de visibilité.
La bonne approche traite donc le robots.txt comme un outil d'arbitrage du crawl, pas comme un bouton marche-arrêt de l'indexation. C'est l'un des points de contrôle d'un audit technique de référencement, aux côtés du sitemap, des balises d'indexation et de la gestion des redirections.