Quando o assunto é otimizar o tempo de rastreamento dos mecanismos de buscas no seu site, uma das ações está na remoção de páginas irrelevantes. Seja ocultando dos bots, seja ocultando para os usuários na SERP (vamos falar sobre isso aqui também).
“Mas Lidi, tem forma correta para fazer isso?”
Antes de te dizer a clássica resposta “DEPENDE”, vamos nos aprofundar nas possibilidades para chegar no objetivo da otimização:
• Arquivo Robots.txt
• Tag de meta robots
• Redirecionamento 301
• Link Canonical
É importante entender que você não precisa fazer todas elas. é preciso entender o conteúdo de cada página e por que será benéfico tira-la do processo de rastreamento e indexação. Vamos lá?
Bloqueio de páginas pelo Robots.txt
O robots.txt é um arquivo acessado e consultado, principalmente, pelo Google. Considerando que o Google é nossa referência em SERP, entender como ele funciona é o primeiro passo no SEO Técnico.
Quando o processo de rastreamento acontece no seu site, o Googlebot inicia verificando as regras do robots.txt, se informando o que ele pode e não pode rastrear nem indexar.
Esse arquivo nos auxilia no bloqueio de páginas, principalmente de grupos de páginas (tags, por exemplo).
O uso de “disallow:” com a slug que deseja ocultar dos mecanismos de buscas impede que os bots leiam e indexem essas páginas na SERP.
Já com o uso de * e trechos padrões na URL (Exemplo: /tag/*) informam essa remoção em massa: todas as URLs que possuem na slug a palavra “/tag/” irão ser bloqueadas.
Recomendamos o seu uso quando as páginas precisam estar acessíveis em algum momento para a experiência do cliente, mas que não faz sentido ser encontrada na SERP.
Podemos citar aqui as páginas de obrigado pela inscrição, obrigado pela compra, checkout, resultados de pesquisa no site e outras páginas sem conteúdo ou baixo conteúdo, como tags não otimizadas e nele somente um post.
Afinal, são páginas sem estratégia, sem palavras-chaves para serem posicionadas, sem as boas práticas de EEAT, sem estrutura técnica de SEO aplicada e, sinceramente, sem fazer sentido os bots perderem tempo – tão valioso – enquanto procura posicionar o seu site. Sem falar que o visitante entrar nela pela SERP ou te conhecer por ela… não faz o menor sentido!
Bloqueio de páginas com a tag de meta robots
A leitura do robots.txt pelos bots não é uma regra obrigatória. Há mecanismos de buscas que não lêem ou respeitam. Portanto esteja ciente que bloquear conteúdos por ele nem sempre pode funcionar, dependendo de qual SERP o usuário estiver acessando.
E é aí que o uso da tag de meta robots entra no jogo.
Seu objetivo é exatamente igual ao arquivo robots: informar aos bots sua permissão/não permissão para rastrear e indexar seu conteúdo. Mas diferente do robots.txt, a tag de meta robots é respeitada, sem exceção, por todos os mecanismos de buscas.
A má notícia é que, ao se tratar de uma linha no código-fonte, sua configuração é individual para cada página (em WordPress você pode utilizar plugins de SEO para configura-la).
Recomenda-se usar para os mesmos objetivos de bloqueios listados para o arquivo txt e, se possível, que ambas as regras estejam iguais.
“Oi? Como assim?”
Imagine que você tem uma página de obrigado: dominio.com/obrigado.
Se você adicionar a linha “Disallow: /obrigado” no robots.txt e manter a tag de meta robots como “index”, você estará gerando dúvidas aos mecanismos de buscas.
Essa ação acaba criando uma lista nos alertas do Search Console como “Indexada, mas bloqueada pelo robots.txt” – ou como o Google diz: “Cara, se decide, você me disse lá no início que não pode indexar, aí chego aqui e você tá dizendo que posso?”
Para deixar claro, e talvez mais confuso, você pode inserir “noindex” na tag de meta robots e não mencionar nada no robots.txt, que não terá problema O contrário é obrigatório.
Redirecionamento 301 para eliminar de vez páginas irrelevantes
Sabendo que o uso de robots, seja a tag de meta ou o arquivo txt, apenas oculta sua página da SERP, temos também as páginas que não deveriam mais ser acessadas ou encontradas. Nem pelos bots, nem pelos usuários.
E antes de coloca-la em rascunho ou exclui-la, a melhor prática é fazer um redirecionamento para uma outra página, evitando que o usuário chegue até ela e se depare com um erro 404.
Quando falamos de redirecionamentos, garanta que sua ação registre um status para que os mecanismos saibam e entendam o porquê desse redirecionamento acontecer.
Nesta situação, onde queremos eliminar completamente a página, utilize o status 301, que reforça aos bots que se trata de redirecionamento permanente e que ele não pecisa mais guardar aquela página irrelevante em seus registros de rastreamento.
Escolha essa opção quando a página deixar de fazer sentido para o usuário, o conteúdo não estiver mais disponível, ou um novo conteúdo substituir o atual.
Bloqueio de conteúdo com o link Canonical
“Peraí, bloquear com canonical?”
Sim, eu sei. Usar o link canonical remover páginas irrelevantes da SERP deve ser a última opção, e eu vou te explicar quando ela é adequada.
Quando você seta uma canonical diferente da URL, o algoritmo começa transferir toda a autoridade do conteúdo atual para a URL mencionada na canonical. Esse é um processo lento, não imediato como fazer um redirecionamento.
Aos poucos, a página vai perdendo relevância, até desindexar completamente, priorizando a nova URL como conteúdo principal.
E para responder a questão acima, utilizamos esse formato em duas situações:
1. Quando as páginas já estão ativas há um tempo com algum tráfego orgânico e você sentir a necessidade de fazer essa remoção de conteúdo da SERP gradualmente. Vale também dizer que há clientes apegados a esse tráfego – mesmo que baixo – e a página; ou
2. Para páginas com conteúdo muito similar, podendo disputar posicionamento entre si e consequentemente ser punidos com queda de posicionamento, mas que faça sentido continuarem ativas no site para o visitante acessar.
Conhecendo as páginas irrelevantes do seu site
Para te ajudar a fazer a melhor escolha, vamos de checklist para descobrir o que melhor se encaixa em sua otimização de conteúdo.
🔘 O conteúdo deve aparecer como resultado de pesquisa na SERP?
[ Sim ] Ela é uma página relevante, cuide bem do SEO dela!
[ Não ] Vamos para a próxima pergunta
🔘 O conteúdo deve estar acessível para o usuário dentro do site?
[ Sim ] Altere a Tag de meta robots para noindex
[ Não ] Vamos para a próxima pergunta
🔘 O conteúdo faz parte de um fluxo de compras/inscrição ou experiência do cliente?
[ Sim ] Altere a Tag de meta robots para “noindex, nofollow” e adicione a regra de “Disallow” no robots.txt
[ Não ] Vamos para a próxima pergunta
🔘 Essa página gera algum tráfego orgânico, mesmo que seja baixo?
[ Sim ] Altere a URL do link Canonical para uma URL de conteúdo que pode substitui-la
[ Não ] Vamos para a próxima pergunta
🔘 Faz sentido manter esse conteúdo publicado?
[ Sim ] Vamos para a próxima pergunta
[ Não ] Crie um redirecionamento 301 para uma página que tenha conteúdo similar e coloque-a em rascunho ou na lixeira
🔘 A página possui palavras-chaves relevantes que façam sentido para o bot perder seu tempo lendo-a? Encontra-la na SERP resolverá o problema do usuário? O SEO foi bem trabalhado?
[ Sim ] Ela é uma página relevante, cuide bem do SEO dela!
[ Não ] Vamos para a primeira pergunta do checklist
Conclusão
Se você tem o hábito de resolver tudo com redirecionamentos ou robots, saiba que podes estar prejudicando o SEO quando um bot se depara com a falta de um alinhamento estratégico para otimizar o tempo de rastreamento dos mecanismos de buscas.
Espero que este artigo te ajude a entender todas as boas práticas de bloqueios de páginas irrelevantes, e que este checklist de SEO Técnico se torne uma referência para as próximas etapas de SEO do seu site.
E se você quer aprender mais sobre SEO Técnico, acesse as 30 Dicas de SEO Técnico na Prática.
Este conteúdo te ajudou? Compartilhe para alcançar mais pessoas!
