Google apresenta Cloud TPU v5p para acelerar o treinamento de modelos de linguagem

O Google anunciou hoje o lançamento do Cloud TPU v5p, a mais recente versão de sua unidade de processamento tensorial (TPU).

Com um conjunto de chips ainda mais poderoso e interconexão aprimorada, o TPU v5p promete oferecer velocidades de treinamento até 2,8 vezes mais rápidas do que seu antecessor, o TPU v4.

Essa atualização representa um avanço significativo no campo do treinamento de modelos de linguagem, como o GPT3-175B.

Segundo o Google, o TPU v5p possui 2 vezes mais operações de ponto flutuante por segundo (FLOPS) e 3 vezes mais memória de alta largura de banda em comparação com o TPU v5e.

Esses avanços tecnológicos permitem treinar modelos de linguagem em uma escala muito maior e de forma mais eficiente.

Em testes iniciais, o TPU v5p demonstrou um desempenho impressionante, proporcionando um aumento de velocidade de 2 vezes em cargas de trabalho de treinamento de modelos de linguagem em comparação com o TPU v4.

Os benefícios do TPU v5p se estendem além do treinamento de modelos de linguagem. O suporte robusto para estruturas de aprendizado de máquina (JAX, PyTorch, TensorFlow) e ferramentas de orquestração permite que os desenvolvedores dimensionem seus projetos de forma mais eficiente.

Além disso, a segunda geração do SparseCores oferece um desempenho significativamente aprimorado para cargas de trabalho intensivas em incorporações.

Essa combinação de recursos avançados torna o TPU v5p essencial para impulsionar esforços de pesquisa e engenharia em modelos de ponta, como o Gemini.

Embora o TPU v5p ainda não esteja disponível para o público em geral, os desenvolvedores interessados podem entrar em contato com seus gerentes de conta do Google para entrar na lista de espera.

Com essa nova geração de TPUs, o Google estabelece novos padrões de velocidade e eficiência para o treinamento de modelos de linguagem, abrindo caminho para avanços ainda maiores no campo da inteligência artificial.