Verifique o robots.txt.
Evite bloquear-se a si próprio.
Um verificador de robots.txt que confirma que não está a bloquear os motores de busca por engano.
14 dias de teste gratuito · Sem cartão de crédito · Cancele quando quiser
“Mais barato do que o que usava e muito mais fácil de navegar. Nunca tinha visto dados de palavras-chave apresentados de forma tão visual, sobretudo os grupos de temas, o que tornou tudo fácil de perceber.”
O robots.txt controla o rastreio, não a indexação, e a diferença custa caro
O equívoco mais caro do SEO técnico é tratar o robots.txt como uma forma de manter páginas fora dos resultados de pesquisa. Não é, e usá-lo assim produz o contrário do que se pretendia.
Disallow diz a um rastreador para não obter o URL. Não diz a ninguém para não o indexar. Se outras páginas ligarem a um URL bloqueado, os motores de busca podem indexá-lo, e fazem-no, apenas com base nessas ligações. É por isso que, de vez em quando, aparece um resultado com um URL real, sem descrição e com uma nota a dizer que a página não pôde ser rastreada.
A armadilha em que quase todos caem
Alguém quer uma página fora do índice. Adiciona noindex à página. Depois, para ter a certeza, bloqueia-a também no robots.txt.
Essa combinação garante que a página continua indexada. A instrução noindex está na página, e o robots.txt acabou de proibir o rastreador de a obter, pelo que a instrução nunca é lida. A regra é simples depois de a percebermos: para remover uma página do índice, ela tem de continuar rastreável. Aplique noindex, deixe a página rastreável, espere pelo novo rastreio e só então pondere bloqueá-la.
Outros pontos que vale a pena verificar
O ficheiro tem de estar na raiz do anfitrião para ter efeito e aplica-se por anfitrião, protocolo e porta, pelo que as versões http e https do seu domínio são ficheiros separados para um rastreador. A Google só processa até 500 KB do ficheiro. As regras são associadas por grupo de user-agent, e um rastreador obedece apenas ao grupo mais específico que lhe corresponde, pelo que um bloco específico User-agent: Googlebot significa que o Googlebot ignora por completo as suas regras User-agent: *, em vez de as combinar.
Bloquear CSS e JavaScript é outro autogolo. Os motores de busca renderizam as páginas, e uma página com a folha de estilos bloqueada é avaliada como a versão sem estilos, que muitas vezes parece avariada e pouco adaptada a telemóveis.
Como a UtilitySEO trata disto
A auditoria indica o que o seu robots.txt realmente faz, e não apenas se o ficheiro existe, incluindo se as diretivas entram em conflito com os sinais de indexação das próprias páginas.
Leitura complementar
Um robots.txt correto é apenas uma verificação dentro de um trabalho maior. SEO técnico reúne o resto: rastreio, indexação, renderização e redirecionamentos. Pesquisa com IA e motores de resposta trata da questão mais recente de saber que rastreadores de IA respeitam o ficheiro.
Análise gratuita de 30 segundos.
Sem registo. Sem cartão de crédito.
Pontuações reais da Google para desempenho, SEO e acessibilidade, mais uma lista ordenada do que deve corrigir primeiro, em menos de um minuto.
Preços simples
Três planos. 14 dias grátis do Minimum, sem necessidade de cartão.
Minimum
Para um site, com o conjunto essencial de ferramentas de SEO.
- 1 projeto e 1 lugar
- 3 análises do site por dia, até 500 páginas cada
- 500 palavras-chave monitorizadas
- 3 concorrentes monitorizados
- Auditorias ao site, guias de correção, monitorização de posições, Search Console e GA4
- 14 dias grátis, sem necessidade de cartão
- Ajuda gratuita na configuração inicial
Sem cartão · Sem contrato · Cancele quando quiser
Entrepreneur
Para alguns sites, com IA e growth blogs.
- 3 projetos e 3 lugares
- 5 análises do site por dia, até 2.000 páginas cada
- 1.000 palavras-chave monitorizadas por projeto
- 5 concorrentes por projeto
- 100 utilizações de IA por mês: insights, briefings de conteúdo, Writer, Ask e clustering
- 20 blogs de crescimento por mês, escritos para si
- Ajuda gratuita na configuração inicial
Sem cartão · Sem contrato · Cancele quando quiser
Enterprise
Tudo, ilimitado. A suite de SEO completa mais barata, e a única abaixo de £100.
- Projetos e lugares ilimitados (utilização razoável)
- 20 análises de site por dia, até 10.000 páginas cada
- 10.000 palavras-chave monitorizadas por projeto
- Concorrentes ilimitados (utilização razoável)
- Funcionalidades de IA ilimitadas (utilização razoável)
- 100 growth blogs por mês em todos os projetos
- Relatórios para clientes em marca branca
- Suporte prioritário e ajuda gratuita na implementação
Sem cartão · Sem contrato · Cancele quando quiser
Cancele quando quiser · Pagamento seguro via Stripe
Tem um código de parceiro, afiliado ou de indicação? Pode dar-lhe um teste mais longo ou um plano superior.
Alterações de preço: se alguma vez alterarmos o preço do seu plano, avisamos primeiro por email, pelo menos 2 meses antes de uma renovação anual ou 28 dias antes de um pagamento mensal, e pode cancelar antes de se aplicar.
Perguntas frequentes
Pare de adivinhar. Comece a corrigir.
Saiba o que está avariado e o que corrigir primeiro, em linguagem clara. 14 dias grátis do Minimum. Um código de parceiro, de afiliado ou de recomendação pode dar um teste mais longo ou um plano superior. Sem cartão de crédito.
Começar o meu teste gratuito