O que vou compartilhar aqui com você não acontece todos os dias, mas quando acontece é frustrante. E por isso que eu sei que esta dica rápida te ajudará muito e você vai lembrar dela quando enfrentar esse problema.
Você está tentando rastrear um site. O rastreamento é concluído super rápido e há apenas a página inicial nos resultados do rastreamento.
O que pode ter dado de errado?
Às vezes uma ferramenta de rastreamento pode ter dificuldade em rastrear um site. Ela pode então mostrar apenas a página principal e parar.
Existem 2 principais razões para isso acontecer, e eu vou te ajudar a resolver.
1. O rastreamento do site está desabilitado através do robots.txt e a ferramenta de rastreamento respeita isso
Para resolver, altere a configuração da ferramenta para ignorar as diretivas do robots.txt. Isso permitirá que a ferramenta passe pelo robots.txt e continue o rastreamento completo.
Dica profissional: verifique se o bloqueio do rastreamento foi intencional. Se não foi, você tem um problema de SEO Técnico a ser resolvido aqui.
2. O site que você está tentando analisar é baseado em JavaScript
Para resolver, configure seu crawler para executar a nível JavaScript, permitindo que ele “veja” o conteúdo do site.
Dica profissional: com um site em JavaScript, certifique-se de que o Google também consiga rastrear e indexar o conteúdo, pois ele pode estar enfrentando as mesmas dificuldades de renderização.
No curso SEO Técnico: Dominando na Prática, há uma aula dedicada em SEO para JavaScript.
