Avaliadores contratados pela Google reclamam de pouco tempo para avaliar chatbot Bard

O Google tem recorrido a uma parte significativa de sua força de trabalho terceirizada para ajudar a avaliar a qualidade das respostas produzidas pelo chatbot alimentado por inteligência artificial (IA), o Bard.

Entretanto, os contratados afirmam que não têm tempo suficiente para avaliar a precisão das respostas.

Desde janeiro, a maioria das tarefas de avaliação dos chamados “raters” foi destinada a revisar comandos de IA, segundo quatro avaliadores que conversaram com o portal Insider sob condição de anonimato.

Eles afirmam que não têm tempo suficiente para avaliar as respostas, o que os leva a fazer suposições para garantir que sejam remunerados.

Os “raters” da empresa Appen costumam avaliar os algoritmos de pesquisa da Google e a relevância dos anúncios nos resultados de busca, além de sinalizar sites prejudiciais para que eles não apareçam nos resultados de pesquisa.

Já os contratos para avaliar o chatbot são menos específicos e muitas vezes vagos, a ponto de os trabalhadores não saberem se estão avaliando o Bard.

Um documento de instrução para avaliadores visto pelo Insider disse que eles serão fornecidos com um “comando de um usuário (por exemplo, uma pergunta, instrução, declaração) para um chatbot de IA, juntamente com duas possíveis Respostas geradas por máquina”. O avaliador então avalia qual resposta é melhor.

Os contratados afirmam que o tempo para realizar cada tarefa varia de 60 segundos a vários minutos e que é difícil avaliar a resposta quando não estão familiarizados com o assunto sobre o qual o chatbot está falando, como em assuntos técnicos, por exemplo.

Um dos avaliadores afirmou que mesmo que perceba que não é capaz de avaliar com precisão as respostas, ele ainda assim finaliza a tarefa para garantir que seja remunerado.

Ele reclama que, muitas vezes, as tarefas exigem que ele pesquise por três horas para completar uma avaliação de 60 segundos.