SEO no Brasil e Portugal: erros em robots.txt que o Google penaliza

O ficheiro robots.txt e colocado na raiz do dominio (ex. https://example.com/robots.txt) e indica aos crawlers conformes quais URLs podem ou nao visitar. E uma convencao, nao um mecanismo de seguranca: qualquer bot pode ignora-la.

No Brasil, hostings como Locaweb, HostGator BR e KingHost usam servidores Linux: os caminhos sao sensiveis a maiusculas. Disallow: /Admin/ nao bloqueia /admin/. Um erro frequente em lojas WooCommerce e Magento brasileiras: bloquear recursos CSS e JS para "aliviar o servidor", o que impede o Google de renderizar as paginas corretamente e prejudica o ranqueamento.

Para sites com hreflang PT/BR (Portugal vs. Brasil), o robots.txt deve permitir o acesso a todos os prefixos linguisticos. Bloquear /pt/ ou /br/ corta a indexacao cruzada entre versoes. O Bing tambem e relevante em Portugal, com cerca de 10 % de quota de mercado.

Tabela de diretivas comuns

Diretiva	Efeito	Nota SEO
`Disallow: /`	Bloqueia todo o site	Catastrofico se aplicado a `User-agent: *`
`Disallow: /wp-admin/`	Bloqueia o painel de administracao	Correto, sem necessidade de indexacao
`Disallow: /*.css$`	Bloqueia ficheiros CSS	Quebra a renderizacao do Google
`Disallow: /?`	Bloqueia URLs com parametros	Poupa orcamento de rastreio
`Sitemap:`	Declara a URL do sitemap	Acelera a descoberta

O que robots.txt nao pode fazer

Bloquear um URL no robots.txt nao o remove do indice do Google. Paginas ja indexadas ou com links externos podem continuar a aparecer nos resultados. Para remocao real, use a meta tag <meta name="robots" content="noindex"> (o Google precisa de conseguir rastrear a pagina para a ler) ou a ferramenta de remocao de URLs no Google Search Console BR/PT. Um erro 5xx em /robots.txt pode levar o Google a tratar todo o dominio como bloqueado.

Fluxo de trabalho: gerar, testar, publicar

Apos gerar as regras, valide cada URL com o testador de robots.txt antes de enviar o ficheiro para a raiz do servidor. Em seguida, submeta o robots.txt no Google Search Console para confirmar que o Googlebot consegue le-lo. Em migracoes de dominio (.com.br para .com), verifique se as regras do novo dominio nao replicam bloqueios herdados do anterior.