Pour une PME belge, ce petit fichier a un impact disproportionné par rapport à sa taille : quelques lignes de texte suffisent à orienter — ou à égarer — l'ensemble du crawl de Google sur le site. Il sert à écarter les pages sans intérêt pour le référencement (panier, compte client, pages d'administration) pour concentrer l'attention des robots sur le contenu qui compte. Beaucoup de sites WordPress belges héritent d'un robots.txt généré automatiquement par un plugin, jamais relu depuis, ce qui peut cacher une erreur silencieuse pendant des mois.
Exemple : en 2026, une PME de Charleroi migre son site vers un nouveau thème WordPress. Le prestataire laisse par erreur la ligne Disallow: / héritée de l'environnement de test — une directive qui interdit tout accès aux robots. Résultat : le site entier disparaît des résultats Google en quelques semaines, avant d'être repéré via Search Console.
Le robots.txt travaille en tandem avec le sitemap.xml, qui liste les pages à indexer, et se surveille via Google Search Console, qui signale les pages bloquées par erreur.
Une ligne peut désindexer tout un site
Une directive Disallow mal placée dans le robots.txt peut bloquer l'accès de Google à l'ensemble du site, pas seulement à une page. Après toute migration ou refonte, vérifiez ce fichier avant de le laisser en production.