Casos de uso ES/LATAM: probar antes del despliegue en produccion
Esta herramienta comprueba si un camino URL esta permitido o bloqueado por un contenido robots.txt dado, para un user-agent especifico. Pega el robots.txt de un sitio live, de un entorno de pruebas o generado por la herramienta, e introduce la ruta a verificar.
Error frecuente en agencias web de Espana y LATAM: el robots.txt del entorno de staging (Disallow: /) se replica en produccion durante un despliegue. Googlebot queda bloqueado hasta que el cliente detecta la caida de trafico. Este test tarda diez segundos y evita semanas de perdida de posicionamiento.
El probador oficial de Google esta en Google Search Console (herramientas legacy), pero requiere acceso verificado a la propiedad. Esta herramienta funciona sin conexion, con cualquier contenido robots.txt, y permite verificar tambien sitemaps.
Diferencia: robots.txt vs meta noindex
| Mecanismo | Que controla | Pagina aun en el indice? |
|---|---|---|
| Disallow (robots.txt) | Impide que Googlebot visite la URL | Si, si sitios externos enlazan a ella |
| meta noindex | Googlebot visita pero no indexa | No, se elimina tras el siguiente rastreo |
| Ambos combinados | Googlebot no puede leer el noindex | Si, Disallow impide leer noindex |
Bloquear una URL con Disallow y anotarla con noindex al mismo tiempo es contraproducente: Googlebot no puede leer la etiqueta si tiene bloqueado el acceso a la pagina. Retira el Disallow y usa solo noindex para desindexar.
Correspondencia de reglas y casos especiales
La mayoria de crawlers aplican la regla del camino mas especifico: la entrada mas larga coincidente gana. Para Googlebot, un Allow: /admin/public/ anula un Disallow: /admin/ mas amplio. Los comodines (* en rutas, $ al final de URL) son compatibles con Google y Bing. Verifica tambien que la ruta del sitemap no este bloqueada accidentalmente.
Flujo de trabajo
Tras probar aqui, genera o edita el robots.txt completo con el generador robots.txt. Luego comprueba el encabezado HTTP de /robots.txt con el verificador de redirecciones para confirmar que el archivo responde con estado 200, no a traves de una cadena de redirecciones.