PaLM+RLHF é uma alternativa de código aberto ao ChatGPT que combina o modelo de linguagem PaLM do Google com a técnica de aprendizado por reforço com feedback humano RLHF.
Assim como a ferramenta de Elon Musk, ela tem o objetivo de criar um sistema que possa alinhar os modelos de inteligência artificial às respostas humanas.
Infelizmente, esta alternativa não está disponível para todos, pois precisa ser treinada com uma enorme quantidade de dados, como notícias, artigos do Reddit, títulos de e-books, entre outras fontes, o que é bastante trabalhoso e caro.
Além disso, é necessário ter um computador com uma configuração avançada, com pelo menos oito GPUs A100, o que é bastante caro.
Como alternativa, é possível usar cloud computing, mas os altos requisitos informáticos e os preços também o tornam inviável para muitas pessoas.
De acordo com um estudo de 2020, o custo de desenvolver um modelo de geração de texto com apenas 1,5 bilhão de parâmetros foi superior a 1,6 milhão de dólares.
Portanto, esta alternativa precisaria de milhares de dólares antes da coleta e treinamento, para que possa aprender as probabilidades de ocorrência de palavras com base nos padrões do contexto semântico do texto circundante e trabalhar de maneira semelhante ao ChatGPT.
✨ Curtiu este conteúdo?
O GDiscovery está aqui todos os dias trazendo informações confiáveis e independentes sobre o universo Google - e isso só é possível com o apoio de pessoas como você. 🙌
Com apenas R$ 5 por mês, você ajuda a manter este trabalho no ar e leva informação de qualidade para ainda mais gente!
