Acerca del probador robots.txt
El archivo robots.txt controla qué URLs pueden visitar los robots de indexación. Las reglas se aplican de la más específica a la menos específica. Una regla Allow coincidente siempre gana sobre Disallow con la misma longitud de ruta. El comodín * coincide con cualquier cadena. Bloquear una URL en robots.txt no impide que aparezca en los resultados de búsqueda si otras páginas la enlazan – usa noindex en las meta etiquetas para eso.