SEO France : les erreurs robots.txt que Google sanctionne

Le fichier robots.txt se place a la racine de votre domaine (https://exemple.com/robots.txt) et indique aux crawlers conformes quelles URL ils peuvent ou non visiter. C'est une convention, pas un verrou de securite.

L'erreur la plus frequente sur les sites FR heberges chez OVHcloud ou Scaleway : bloquer les fichiers CSS et JS via Disallow: /*.css. Google ne peut alors plus afficher la page correctement, ce qui nuit au rendu et au score de qualite. Les configurations Apache ou Nginx de ces hebergeurs exposent parfois des repertoires sensibles par defaut, pensez a auditer votre robots.txt apres chaque migration.

Pour les sites multilingues avec balises hreflang (fr-FR, fr-BE, fr-CH...), le robots.txt doit laisser Googlebot acceder a toutes les versions linguistiques. Bloquer un prefixe de langue comme /en/ ou /de/ depuis un domaine principal fr coupe l'indexation croisee.

Tableau des directives courantes

Directive	Effet	Impact SEO
`Disallow: /`	Bloque tout le site	Catastrophique si applique a `*`
`Disallow: /wp-admin/`	Bloque le panneau admin	Correct, page de connexion toujours crawlable
`Disallow: /*.css$`	Bloque les CSS	Casse le rendu Google
`Disallow: /?`	Bloque les URL a parametres	Utile pour le budget de crawl
`Sitemap:`	Declare l'URL du sitemap	Accelere la decouverte

Ce que le robots.txt ne peut pas faire

Bloquer une URL dans robots.txt ne la retire pas de l'index Google. Les pages deja indexees ou liees depuis des sites externes peuvent continuer a apparaitre dans les resultats. Pour une suppression reelle, utilisez la balise <meta name="robots" content="noindex"> ou l'outil de suppression d'URL dans Google Search Console FR. Verifiez aussi les erreurs d'indexation signalees dans la Search Console : une erreur 5xx sur /robots.txt peut amener Google a traiter votre site comme entierement bloque.

Workflow : generer, tester, deployer

Apres avoir genere vos regles ici, validez chaque URL cible avec le testeur robots.txt avant de deposer le fichier a la racine de votre serveur. Soumettez ensuite le fichier via Google Search Console pour confirmer que Googlebot peut le lire. Pour les PrestaShop ou WordPress multilingues, verifiez que les regles n'excluent pas involontairement des pans entiers de catalogue.