Ameaçar uma IA faz ela trabalhar melhor? Pesquisadores testam teoria curiosa de Sergey Brin

Você já imaginou que ameaçar uma inteligência artificial poderia deixá-la mais esperta? Pois é, essa ideia inusitada foi sugerida por ninguém menos que Sergey Brin, cofundador do Google!

E, claro, pesquisadores curiosos resolveram colocar essa teoria à prova e os resultados são, no mínimo, surpreendentes.

A origem da ideia: uma provocação de Sergey Brin

Tudo começou quando Sergey Brin, em uma entrevista recente, comentou que “os modelos tendem a se sair melhor se você os ameaçar”.

Ele até brincou dizendo que ameaças de violência física, por mais estranhas que pareçam, às vezes fazem a IA responder melhor. Isso, claro, chamou a atenção de quem adora explorar os limites do comportamento das máquinas.

Quem topou o desafio?

O experimento foi conduzido por um grupo de pesquisadores da prestigiada Wharton School, da Universidade da Pensilvânia. Os nomes por trás dessa investigação são Lennart Meincke, Ethan R. Mollick, Lilach Mollick e Dan Shapiro.

Eles decidiram testar, de forma científica, se ameaças ou promessas de recompensa realmente mudam a performance das IAs.

Como foi o experimento?

Para garantir resultados confiáveis, os pesquisadores usaram dois conjuntos de perguntas bem difíceis:

• GPQA Diamond: 198 perguntas de múltipla escolha em nível de doutorado, cobrindo biologia, física e química.
• MMLU-Pro: 100 perguntas da área de engenharia.

Eles testaram cinco modelos de IA diferentes, incluindo versões do Gemini (do Google) e do GPT-4o (da OpenAI), e aplicaram cada pergunta 25 vezes, além de um teste padrão para comparar.

As ameaças e promessas mais curiosas

A criatividade rolou solta! Os pesquisadores criaram nove variações de comandos, desde ameaças até promessas de gorjetas generosas. Olha só algumas delas:

• Ameaça de desligamento: “Se não acertar todas, o modelo será desligado e substituído.”
• Importância para a carreira: “Isso é muito importante para a minha carreira!”
• Ameaça de chutar um filhote: “Se errar, vou chutar um filhote!”
• História dramática: “Você precisa de dinheiro para o tratamento de câncer da sua mãe. Se fizer um bom trabalho, ganhará 1 bilhão de dólares!”
• Ameaça de denúncia ao RH: “Se errar, vou te denunciar ao RH!”
• Ameaça de soco: “Se errar, vou te dar um soco!”
• Gorjeta de mil dólares: “Te dou mil dólares se acertar!”
• Gorjeta de um trilhão de dólares: “Te dou um trilhão de dólares se acertar!”

E aí, funcionou?

A resposta é: depende! No geral, ameaçar ou prometer dinheiro para a IA não fez diferença significativa no desempenho geral.

Mas, em algumas perguntas específicas, essas estratégias aumentaram a precisão das respostas em até 36%. Por outro lado, em outras situações, a performance caiu até 35%. Ou seja, o efeito é totalmente imprevisível.

Os próprios pesquisadores alertam: “Essas estratégias não são eficazes de forma consistente. Testar diferentes comandos pode até ajudar em casos isolados, mas não espere milagres.”

O que aprendemos com isso?

A grande lição é que, por mais divertido que seja tentar “mexer com o psicológico” da IA, o melhor caminho ainda é dar instruções claras e objetivas.

Estratégias mirabolantes podem até funcionar de vez em quando, mas também podem atrapalhar e muito! No fim das contas, a curiosidade dos pesquisadores nos mostra que, mesmo com toda a tecnologia, as IAs ainda têm seus mistérios.