SEO

O que é o ficheiro robots.txt e como não bloquear o Google sem querer

O que é o ficheiro robots.txt e como não bloquear o Google sem querer

Há um pequeno ficheiro de texto, com poucas linhas, capaz de tornar o teu site inteiro invisível no Google se estiver mal escrito. Chama-se robots.txt. É uma ferramenta útil, mas um descuido aqui é uma das causas mais comuns de "o meu site não aparece". Vamos perceber o que é, para que serve e — sobretudo — como não dar tiros no pé.

O que é o robots.txt

O robots.txt é um ficheiro de texto colocado na raiz do teu site (em oteusite.pt/robots.txt) que dá instruções aos robôs dos motores de pesquisa sobre o que podem ou não rastrear. É, basicamente, o porteiro do teu site: diz ao Googlebot "podes entrar aqui, mas não vás por ali".

O Google explica-o no seu guia oficial sobre robots.txt.

Para que serve (e para que não serve)

Serve para:

  • Impedir o rastreio de áreas irrelevantes (painéis de administração, páginas internas, ficheiros técnicos).
  • Evitar que o Google desperdice "orçamento de rastreio" em páginas sem valor.
  • Indicar onde está o sitemap XML.

NÃO serve para:

  • Esconder uma página do Google de forma garantida. Esta é a confusão mais perigosa. O robots.txt impede o rastreio, mas uma página bloqueada ainda pode aparecer nos resultados (sem descrição) se outros sites lhe ligarem. Para impedir mesmo a indexação, usa a etiqueta noindex, como o Google explica em bloquear indexação.
  • Proteger informação confidencial. Qualquer pessoa pode ler o teu robots.txt. Nunca o uses para "esconder" áreas sensíveis — para isso, usa autenticação.

Como se lê um robots.txt

A sintaxe é simples. Os comandos mais comuns:

User-agent: *
Disallow: /admin/
Allow: /
Sitemap: https://oteusite.pt/sitemap.xml
  • User-agent indica a que robô se aplica a regra (* = todos).
  • Disallow indica o que não rastrear.
  • Allow abre exceções dentro de um bloqueio.
  • Sitemap aponta para o teu sitemap XML.

O erro que mata sites: bloquear tudo

Repara nesta linha:

User-agent: *
Disallow: /

Aquele / sozinho significa "não rastreies nada do site". É frequente aparecer em ambientes de desenvolvimento (para o Google não indexar o site enquanto está a ser construído) e depois… ninguém se lembra de o tirar no lançamento. Resultado: site invisível.

Se o teu site não aparece no Google, verificar o robots.txt é dos primeiros passos — explicamos o diagnóstico completo em Porque é que o meu site não aparece no Google.

Como verificar o teu robots.txt

  • Abre-o no navegador: escreve oteusite.pt/robots.txt. O que está lá é o que o Google vê.
  • Usa o Google Search Console. A ferramenta de inspeção de URLs diz-te se uma página específica está bloqueada por robots.txt.
  • No WordPress, plugins de SEO (Yoast, Rank Math) deixam-te ver e editar o ficheiro sem mexer em código.

Boas práticas

  • Não bloqueies CSS e JavaScript de que o Google precisa para renderizar a página corretamente.
  • Aponta sempre para o sitemap no robots.txt — ajuda o Google a descobrir as tuas páginas (vê O que é o sitemap XML).
  • Mantém-no simples. Quanto menos regras, menos hipóteses de te enganares.
  • Confirma após o lançamento. A primeira coisa a verificar quando um site passa a produção: o robots.txt não está a bloquear tudo.
  • Para esconder páginas, usa noindex, não Disallow. São coisas diferentes.

Pequeno ficheiro, grande responsabilidade

O robots.txt é a prova de que, no SEO técnico, o detalhe conta. Poucas linhas mal escritas podem apagar meses de trabalho. A regra de ouro: na dúvida, mantém-no mínimo e confirma sempre depois de pôr o site no ar. Faz parte do conjunto de fundamentos técnicos — vê o guia de SEO técnico.

No sitesfixe.pt entregamos os sites com robots.txt e indexação corretamente configurados — sem o risco clássico de lançar com o site bloqueado ao Google. Websites desde 1.500€, em Lisboa. Pede um orçamento sem compromisso.

Lê também:

Fontes

Precisas de um site ou loja online?

Estúdio digital português. Sites e lojas online rápidos, otimizados para o Google e feitos para resultado.

Pedir orçamento