O Google atualizou seu documento de ajuda para o Googlebot e incluiu especificações para seu limite de tamanho de busca de 15MB.
De acordo com o documento, o limite de tamanho de 15MB se aplica a cada sub-recurso individual referenciado no HTML, como arquivos JavaScript e CSS.
Os recursos referenciados, incluindo CSS e JavaScript, estão sujeitos a limites de tamanho, como o HTML.
Gary Illyes do Google informou em seu Linkedin que a atualização do documento ajudaria os desenvolvedores de sites a saber mais sobre as políticas de rastreamento do Google e a garantir a otimização dos sites em termos de SEO.
Outros crawlers do Google, como o Googlebot Video e o Googlebot Image, podem ter limites diferentes para rastreamento, mas esses limites não são divulgados pelo Google no momento.
