Robôs, filtros e o ficheiro robots.txt

Os motores de busca e os robôs de inteligência artificial percorrem o seu site seguindo os links que encontram. Isso é bom para as páginas importantes, mas pode ser um problema em filtros.

O problema das combinações

Se cada filtro (etiqueta, cor, tamanho, localidade) é um link, e cada página filtrada mostra mais links para combinar filtros, o número de endereços diferentes cresce sem fim. Com 15 etiquetas combináveis existem 32 767 combinações por página. Os robôs tentam visitá-las todas e, como cada combinação é uma página nova, nenhuma está em cache.

Como evitar

1. 1Bloqueie os parâmetros de filtro no robots.txt (exemplo abaixo).
2. 2Marque os links de filtro com rel="nofollow", ou faça os filtros com botões ou formulário em vez de links.
3. 3Nas páginas filtradas, use noindex, nofollow (no Yoast ou no Rank Math).

User-agent: *
Disallow: /*?etiqueta=
Disallow: /*?filtro=
Disallow: /*?orderby=