Cómo usar el generador de robots.txt

Haz clic en + Añadir grupo para crear un bloque para un crawler específico.
Define el User-agent (usa * para todos los crawlers, o un nombre de bot específico como Googlebot).
Añade reglas Disallow o Allow para rutas específicas.
Añade opcionalmente una URL de sitemap y un crawl-delay.
Haz clic en Generar y luego copia o descarga el archivo.

Nombres de bots comunes