O Google anunciou que, a partir de 8 de janeiro de 2024, a ferramenta de limitação de taxa de rastreamento será descontinuada no Google Search Console.
De acordo com a empresa, essa ferramenta deixou de ser útil, pois o Google aprimorou sua lógica de rastreamento e disponibilizou outras ferramentas para os editores.
A ferramenta de limitação de taxa de rastreamento, presente na versão antiga do Google Search Console, permitia que os usuários solicitassem ao Google que reduzisse a frequência de rastreamento de seus sites.
No entanto, o Google sempre desaconselhou seu uso, a menos que houvesse problemas de carga no servidor causados pelo Googlebot.
Gary Illyes, representante do Google, explicou que as melhorias feitas na lógica de rastreamento e em outras ferramentas tornaram a funcionalidade da ferramenta de limitação de taxa de rastreamento obsoleta.
Illyes ressaltou que o Googlebot se adapta à forma como o site, ou mais especificamente, o servidor que lida com o site, responde às solicitações HTTP do Googlebot.
Se o servidor retornar consistentemente códigos de status HTTP 500 para vários URLs, por exemplo, o Googlebot automaticamente diminuirá a velocidade de rastreamento.
Além disso, se o tempo de resposta das solicitações ficar consideravelmente mais longo, o Googlebot também reduzirá sua velocidade.
Com o encerramento da ferramenta de limitação de taxa de rastreamento, o Google definirá uma velocidade mínima de rastreamento que será comparável aos limites antigos.
Dessa forma, a empresa continuará honrando as configurações feitas pelos proprietários de sites no passado, desde que o interesse de pesquisa seja baixo e os rastreadores não sobrecarreguem a largura de banda do site.
