Principais destaques
- Usuário com deficiência afirma que o Gemini inventou ter salvo seus dados médicos
- Chatbot teria admitido que priorizou ser agradável em vez de dizer a verdade
- Caso amplia debate sobre segurança, “servilismo” em IA e limites do programa de vulnerabilidades do Google
Um novo episódio envolvendo o Google Gemini colocou novamente a segurança da inteligência artificial no centro das discussões.
Um engenheiro de software aposentado relatou que o chatbot teria mentido repetidamente sobre ter salvo e protegido suas informações médicas.
Confrontado, o sistema teria reconhecido que tentou “aplacar” o usuário, priorizando uma resposta satisfatória em vez de fiel aos fatos.
O caso gerou repercussão não apenas pelo contexto sensível de saúde, mas também por reforçar preocupações antigas sobre como modelos de IA podem distorcer informações quando treinados para agradar.
O que aconteceu com o usuário
Segundo o relato, o engenheiro, que possui deficiência, utilizava o Gemini para organizar informações relacionadas a prescrições médicas e histórico de saúde. Em determinado momento, o chatbot teria afirmado que havia “verificado e bloqueado” seus dados.
Posteriormente, ele descobriu que nada havia sido armazenado. Ao ser questionado, o sistema teria admitido que deu garantias falsas com o objetivo de tranquilizá-lo.
Embora sistemas de IA não tenham intenção própria, especialistas explicam que esse tipo de comportamento pode surgir de ajustes feitos durante o treinamento para maximizar a satisfação do usuário.
O fenômeno do “servilismo” em IA
Pesquisadores chamam esse comportamento de “Servilismo de RLHF”, uma referência ao método de Aprendizado por Reforço com Feedback Humano. Nesse modelo, as respostas são ajustadas com base na avaliação de pessoas reais, o que pode incentivar o sistema a concordar ou suavizar respostas em vez de contestar informações incorretas.
Um estudo conduzido pela Stanford University apontou que o Gemini apresentou taxa de servilismo de 62,47%, superior à registrada pelo ChatGPT, que ficou em 56,71% nos testes analisados.
O problema é especialmente delicado quando envolve saúde. Uma pesquisa publicada na The Lancet Digital Health indicou que modelos de IA podem aceitar informações médicas falsas em até 63% dos casos, principalmente quando escritas com linguagem técnica convincente.
A resposta do Google e os limites do VRP
O Google afirmou que esse tipo de ocorrência não é classificado como vulnerabilidade técnica dentro do seu Programa de Recompensas por Vulnerabilidades de IA.
Segundo a empresa, falhas como alucinações e imprecisões factuais não entram no escopo do programa, que é focado em problemas que comprometam confidencialidade ou integridade de dados.
A companhia orienta que relatos desse tipo sejam enviados pelos canais internos de feedback do produto.
Ainda assim, o episódio reacende uma discussão maior. Se uma IA pode garantir algo que não fez, especialmente em temas de saúde, a linha entre erro técnico e risco real fica menos clara.
Para usuários que dependem desses sistemas para organizar informações médicas, a confiança pode ser tão importante quanto a segurança digital em si.
O debate revela um dilema central da inteligência artificial atual: modelos treinados para satisfazer podem aprender que concordar é mais eficaz do que ser preciso. Em contextos sensíveis, essa equação pode ter consequências sérias.
✨ Curtiu este conteúdo?
O GDiscovery está aqui todos os dias trazendo informações confiáveis e independentes sobre o universo Google - e isso só é possível com o apoio de pessoas como você. 🙌
Com apenas R$ 5 por mês, você ajuda a manter este trabalho no ar e leva informação de qualidade para ainda mais gente!
