Estudo aponta falhas do ChatGPT Search na citação de fontes de notícias

Uma recente pesquisa conduzida pelo Tow Center for Digital Journalism, da Universidade de Columbia, revelou falhas significativas no ChatGPT Search, ferramenta de busca da OpenAI.

O estudo aponta que o sistema enfrenta dificuldades para citar corretamente fontes de notícias, levantando preocupações sobre a visibilidade e o controle de conteúdo por parte dos publishers.

As descobertas também desafiam as declarações da OpenAI sobre sua colaboração com a indústria jornalística.

Lançado no mês passado, o ChatGPT Search prometia integrar feedbacks de publishers e permitir que controlassem a presença de seus conteúdos por meio do arquivo robots.txt.

No entanto, o relatório sugere que, mesmo com essas medidas, o sistema frequentemente atribui citações a versões não autorizadas ou sindicadas, ignorando as fontes originais.

Casos como o do The New York Times, que bloqueia o acesso do chatbot, e até mesmo da MIT Technology Review, que o permite, destacam que a má atribuição ocorre independentemente das preferências dos publishers.

Entre as 200 consultas analisadas, 153 retornaram informações incorretas, segundo o estudo. O ChatGPT Search mostrou inconsistência ao responder a perguntas idênticas e raramente reconheceu seus erros.

Essa abordagem, que prioriza respostas agradáveis aos usuários em detrimento da precisão, pode não apenas confundir leitores, mas também prejudicar a credibilidade de veículos renomados.

Em resposta, a OpenAI afirmou que busca aprimorar a precisão das citações e respeitar a autonomia dos publishers.

A empresa destacou o uso de ferramentas como o OAI-SearchBot para permitir que publishers gerenciem como seus conteúdos aparecem na busca.

Apesar disso, reconheceu os desafios para resolver questões específicas de atribuição.