À propos du testeur robots.txt

Le fichier robots.txt contrôle quelles URL les robots d'indexation peuvent visiter. Les règles sont appliquées de la plus spécifique à la moins spécifique. Une règle Allow correspondante l'emporte toujours sur un Disallow de même longueur de chemin. Le caractère joker * correspond à n'importe quelle chaîne. Bloquer une URL dans robots.txt n'empêche pas son apparition dans les résultats de recherche si d'autres pages y pointent – utilisez noindex dans les balises meta pour cela.