De acordo com o funcionário do Google Eric Kuan – que procura auxiliar em dúvidas públicas no fórum de ajuda do Google Webmasters – o buscador pode interromper a indexação de um site caso não consiga encontrar ou verificar o conteúdo do arquivo Robots.txt, normalmente presente na raiz destas páginas.
“Se o Google tem dificuldades em rastrear o arquivo robots.txt, ele vai parar de indexar o resto do seu site para evitar que ele indexe páginas que foram bloqueadas pelo arquivo. Se isso não está acontecendo com freqüência, então provavelmente é um problema que você não vai precisar se preocupar. Se isso está acontecendo com freqüência ou se você está preocupado, você deve considerar contatar seu provedor de hospedagem ou serviço para ver se eles verifiquem quaisquer questões caso ocorra algum erro de rastreamento”, disse.
Isso não significa que você precisa ter um arquivo robots.txt, pois não é algo obrigatório. Mas se o sabe Google que seu site costumava apresentá-lo e agora não pode mais acessá-lo, o Google vai parar a indexação do seu site.
✨ Curtiu este conteúdo?
O GDiscovery está aqui todos os dias trazendo informações confiáveis e independentes sobre o universo Google - e isso só é possível com o apoio de pessoas como você. 🙌
Com apenas R$ 5 por mês, você ajuda a manter este trabalho no ar e leva informação de qualidade para ainda mais gente!
