Gerador robots.txt

Gere um arquivo robots.txt com suas regras de crawl, crawl-delay, sitemap e diretivas por user-agent.

Regras

Como usar o gerador de robots.txt

  1. Clique em + Adicionar grupo para criar um bloco para um crawler específico.
  2. Defina o User-agent (use * para todos os crawlers, ou um nome de bot específico como Googlebot).
  3. Adicione regras Disallow ou Allow para caminhos específicos.
  4. Adicione opcionalmente uma URL de sitemap e um crawl-delay.
  5. Clique em Gerar e depois copie ou baixe o arquivo.

Nomes de bots comuns

  • * – Todos os crawlers
  • Googlebot – Crawler web do Google
  • Bingbot – Microsoft Bing
  • GPTBot – Crawler web da OpenAI
  • ClaudeBot – Crawler web da Anthropic