Google Gemini não é tão bom quanto o GPT-3.5 Turbo, dizem pesquisadores

Pesquisadores conduziram um estudo que revelou que o Google Gemini, o novo modelo de linguagem lançado pelo Google como concorrente direto do GPT-3.5 Turbo da OpenAI, não possui o mesmo desempenho.

O estudo, realizado por cientistas da Universidade Carnegie Mellon e da empresa BerriAI, constatou que o Gemini do Google não é tão competente quanto o GPT-3.5 Turbo da OpenAI em várias tarefas.

De acordo com a pesquisa, embora o Gemini Pro do Google tenha uma precisão comparável, ela é ligeiramente inferior em relação ao GPT-3.5 Turbo da OpenAI.

O estudo comparou quatro modelos de linguagem diferentes: o Gemini Pro do Google, o GPT-3.5 Turbo da OpenAI, o GPT-4 Turbo e o Mixtral 8x7B, um novo modelo de código aberto desenvolvido pela startup francesa Mistral.

Os pesquisadores utilizaram o site LiteLLM para avaliar os modelos em diversas tarefas, incluindo perguntas de múltipla escolha nas áreas de ciências, humanidades e ciências sociais.

Os resultados demonstraram que o Gemini Pro do Google teve um desempenho inferior ao GPT-3.5 Turbo em várias categorias de perguntas, como sexualidade humana, lógica formal, matemática elementar e medicina profissional.

Além disso, o Gemini Pro falhou em responder a algumas perguntas devido a restrições de segurança e conteúdo, o que foi considerado uma resposta incorreta pelos pesquisadores.

Embora o Gemini Pro tenha apresentado bom desempenho em áreas como tradução entre idiomas, o estudo concluiu que, de maneira geral, o GPT-3.5 Turbo da OpenAI supera o Gemini Pro e outros modelos testados.

Essa pesquisa é certamente desanimadora para os pesquisadores do Google, que investiram esforços consideráveis no desenvolvimento do Gemini.

O Google, em resposta, afirmou que o Gemini Pro supera o desempenho do GPT-3.5, e eles têm planos de lançar uma versão ainda mais poderosa, chamada Gemini Ultra, que supostamente supera o GPT-4 em testes internos.