Em um episódio do podcast “Search Off The Record” de dezembro, Gary Illyes revelou que o Google Search verifica diariamente cerca de quatro bilhões de hostnames em busca de informações do arquivo robots.txt.
O que demonstra a imensa quantidade de sites e subdiretórios que são analisados regularmente pela plataforma.
Illyes ressaltou que, considerando que todos esses hostnames tenham subdiretórios, é muito provável que existam mais de quatro bilhões de sites indexados pelo Google.
Essa é uma quantidade impressionante e ilustra o tamanho e a complexidade do índice de pesquisa da gigante da tecnologia.
A preocupação da equipe do Google é garantir que quaisquer mudanças ou sugestões relacionadas ao robots.txt não sobrecarreguem ainda mais os editores e proprietários de sites.
Eles reconhecem que implementar um mecanismo de exclusão que seja viável para todos os sites é um desafio complexo.
Embora muitas pessoas estejam ansiosas por soluções prontas, a equipe do Google enfatiza que a questão não deve ser subestimada e requer uma abordagem cuidadosa e bem planejada.
A complexidade do ecossistema online exige que sejam considerados diversos fatores para garantir que qualquer nova implementação seja justa e viável para todos os envolvidos.
✨ Curtiu este conteúdo?
O GDiscovery está aqui todos os dias trazendo informações confiáveis e independentes sobre o universo Google - e isso só é possível com o apoio de pessoas como você. 🙌
Com apenas R$ 5 por mês, você ajuda a manter este trabalho no ar e leva informação de qualidade para ainda mais gente!
