Testador robots.txt

Teste se uma URL está bloqueada pelo seu robots.txt para um user-agent dado. Cole o robots.txt e a URL.

Sobre o testador robots.txt

O arquivo robots.txt controla quais URLs os robôs de indexação podem visitar. As regras são aplicadas da mais específica à menos específica. Uma regra Allow correspondente sempre prevalece sobre Disallow com o mesmo comprimento de caminho. O curinga * corresponde a qualquer string. Bloquear uma URL no robots.txt não impede que ela apareça nos resultados de pesquisa se outras páginas a referenciarem – use noindex nas meta tags para isso.