Principais destaques
- Claude lidera o ranking: o Sonnet 5.5 alcançou 40% de aprovação no Android Bench, avaliação do Google voltada ao desenvolvimento de aplicativos Android.
- GPT-6.1 Sol chama atenção pelo custo: o modelo da OpenAI registrou 29,3% de aprovação, com custo médio de US$ 99,50, muito inferior ao valor associado ao líder.
- Gemini 4 Argon decepciona na estreia: o modelo do Google ficou em quinto lugar, com taxa de aprovação de 21,3%, atrás de concorrentes da Anthropic e da OpenAI.
O Google atualizou seu ranking de modelos de inteligência artificial para programação Android, e o resultado coloca sua própria tecnologia em uma posição pouco confortável. O Gemini 4 Argon estreou na lista atrás de modelos recentes da Anthropic e da OpenAI, enquanto o Claude Sonnet 5.5 assumiu a liderança.
A atualização do Android Bench, publicada em 26 de outubro, oferece uma comparação voltada a uma tarefa bastante específica: ajudar desenvolvedores a criar aplicativos Android seguindo as práticas recomendadas pela plataforma.
Não é uma avaliação genérica de inteligência artificial. O objetivo é medir o desempenho dos modelos em atividades relevantes para quem desenvolve aplicativos para o sistema operacional do Google.
Um ranking que vai além de escrever código 📊
O Android Bench foi criado para ajudar desenvolvedores a escolher modelos de IA mais adequados às suas necessidades. Além da capacidade de concluir tarefas, a avaliação considera aspectos específicos do desenvolvimento Android.
Na atualização mais recente, o Google também passou a informar o nível de raciocínio utilizado em cada modelo, ampliando a transparência da comparação.
A lista recebeu resultados de quatro novidades importantes: GPT-6 Sol, GPT-6.1 Sol, Claude Sonnet 5.5 e Gemini 4 Argon, além de outros modelos já avaliados anteriormente.
🔎 O que os números medem: a taxa de aprovação indica a proporção de tarefas que passaram na avaliação, enquanto a taxa de conclusão mostra quantas foram concluídas. São indicadores diferentes, e terminar uma tarefa não significa necessariamente que o resultado foi aprovado.
Claude assume a primeira posição 🥇
O Claude Sonnet 5.5 aparece no topo da classificação, com taxa de aprovação de 40% e taxa de conclusão de 80,9%.
O Claude Opus 5.5, incluído no ranking no início de outubro, ocupa a segunda posição.
Os números mostram que, mesmo entre modelos avançados, existe uma diferença considerável na capacidade de produzir código que atenda aos critérios específicos do teste.
GPT-6.1 Sol aposta na relação entre desempenho e preço 💸
A contribuição mais interessante da OpenAI pode estar na combinação de resultados e custo.
O GPT-6.1 Sol alcançou uma taxa de aprovação de 29,3% e uma taxa de conclusão de 82,8%. Seu custo médio informado foi de US$ 99,50, ante US$ 1.574,90 associado ao Claude Sonnet 5.5 no ranking.
| Modelo | Taxa de aprovação | Taxa de conclusão | Custo médio informado |
|---|---|---|---|
| Claude Sonnet 5.5 | 40% | 80,9% | US$ 1.574,90 |
| GPT-6.1 Sol | 29,3% | 82,8% | US$ 99,50 |
| Claude Fable 5.1 | 21,3% | 81,8% | US$ 267,70 |
Fonte: números divulgados no texto original sobre o Android Bench. Os valores de custo são os informados pela avaliação e não representam necessariamente o preço comercial de uma única chamada à API.
A diferença é expressiva. O custo atribuído ao GPT-6.1 Sol equivale a aproximadamente 6,3% do valor informado para o modelo líder, embora sua taxa de aprovação também seja menor.
💡 O detalhe que muda a comparação: o GPT-6.1 Sol não lidera em aprovação, mas sua combinação de conclusão e custo pode torná-lo atraente para desenvolvedores que precisam avaliar centenas ou milhares de tarefas.
Isso não significa que seja automaticamente a melhor escolha para todos os projetos. O resultado depende do tipo de tarefa, do orçamento disponível e da importância de obter código aprovado sem retrabalho.
Gemini 4 Argon fica para trás na própria avaliação do Google
A estreia do Gemini 4 Argon é o ponto mais delicado da atualização.
O modelo aparece em quinto lugar, atrás de alternativas concorrentes. Segundo os números apresentados na reportagem, sua taxa de aprovação é de 21,3%, com taxa de conclusão de 81,8% e custo médio de US$ 267,70.
A diferença entre conclusão e aprovação ajuda a entender o problema: o modelo pode terminar uma tarefa sem necessariamente entregar uma solução que satisfaça todos os critérios exigidos.
⚠️ Um resultado que merece atenção: a taxa de aprovação do Gemini 4 Argon fica 18,7 pontos percentuais abaixo da registrada pelo Claude Sonnet 5.5.
O desempenho também é relevante para a própria estratégia do Google. A empresa desenvolve o Android, controla ferramentas centrais do ecossistema e oferece modelos Gemini para auxiliar programadores. Ficar atrás de concorrentes em um teste especializado nessa plataforma cria uma comparação particularmente incômoda.
A classificação reforça dúvidas anteriores
O resultado não aparece isolado. Pouco depois do anúncio do Gemini 4 Argon, uma reportagem do 9to5Google mencionou relatos de fontes internas segundo os quais o modelo enfrentava dificuldades em determinadas tarefas de programação.
Na ocasião, o Google defendeu as capacidades do sistema.
O Android Bench não resolve sozinho a discussão sobre a qualidade geral do Gemini. Seu escopo é específico, e o desempenho pode variar conforme a linguagem, o projeto, a complexidade da tarefa e o nível de raciocínio utilizado.
Ainda assim, a avaliação oferece um parâmetro concreto para desenvolvedores que precisam escolher ferramentas de trabalho, em vez de depender apenas de demonstrações ou promessas dos fabricantes.
O que isso significa para quem desenvolve aplicativos? 📱
A classificação sugere três critérios para escolher um modelo de programação:
- Qualidade: a taxa de aprovação ajuda a estimar a frequência com que o código atende aos requisitos do teste.
- Conclusão: indica a capacidade de levar as tarefas até o fim, mas não garante que o resultado esteja correto.
- Custo: torna possível avaliar se o ganho de qualidade justifica o investimento adicional.
Para equipes que trabalham com Android em escala, diferenças de custo podem ter impacto relevante. Um modelo mais barato pode ser suficiente para tarefas rotineiras, enquanto outro, com maior taxa de aprovação, pode valer a pena em mudanças críticas ou complexas.
A melhor estratégia pode não ser escolher um único modelo para tudo, mas distribuir as tarefas de acordo com o desempenho e o custo de cada opção.
O ranking do Google oferece um retrato de um momento específico, não uma sentença definitiva sobre os modelos. Resta acompanhar se as próximas atualizações mostrarão uma reação do Gemini 4 Argon ou se Claude e GPT continuarão ampliando sua vantagem justamente no território em que o Google tem mais a defender.
