Nova técnica do MIT pode deixar modelos de linguagem mais inteligentes e adaptáveis

Mesmo com todo o avanço da inteligência artificial, os modelos de linguagem ainda enfrentam dificuldades quando são desafiados com tarefas que exigem raciocínio complexo.

É o caso, por exemplo, de modelos que resumem bem relatórios financeiros, mas falham ao tentar prever tendências de mercado ou identificar fraudes.

Pensando nisso, pesquisadores do MIT desenvolveram uma nova abordagem que promete deixar esses sistemas mais flexíveis e eficazes em problemas difíceis.

A técnica, chamada de “test-time training” (ou treinamento em tempo de uso), permite que certos ajustes temporários sejam feitos dentro do modelo enquanto ele está em funcionamento. Com isso, a precisão pode aumentar em até seis vezes em tarefas inéditas.

Em vez de apenas fornecer exemplos para o modelo aprender, como ocorre no chamado aprendizado por contexto, o método do MIT atualiza de fato alguns dos parâmetros internos da IA, com base em dados do novo desafio.

Os cientistas desenvolveram uma estrutura eficiente para aplicar esse tipo de treinamento, sem exigir muitas mudanças no modelo original.

Eles também mostraram que pequenos truques, como gerar novas variações dos exemplos fornecidos, ajudam a criar um conjunto de dados mais robusto para o modelo treinar em tempo real.

Essa combinação de estratégias levou a ganhos significativos de desempenho, principalmente em tarefas com padrões estruturados ou dados desconhecidos.

Embora o processo leve mais tempo, podendo demorar até dez minutos para uma única tarefa, ele se mostra promissor para situações em que é necessário um nível maior de precisão.

O estudo, que será apresentado na International Conference on Machine Learning, aponta para um futuro em que modelos de linguagem poderão decidir sozinhos quando aplicar esse tipo de adaptação.

A pesquisa foi apoiada pelo MIT-IBM Watson AI Lab e pela National Science Foundation.