O Bing Chat fez algumas melhorias significativas em sua eficiência e reduziu problemas de latência para algumas consultas em 25%.
Mikhail Parakhin, CEO do Bing, disse no Twitter: “ontem lançamos uma interface completamente reformulada para monólogos internos, reduzindo o tempo para o primeiro token em ~25%, e, muito mais importante, tornando a latência mais estável, reduzindo picos”.
Ele compartilhou um gráfico mostrando a redução:
Michael Schechter, do Bing, adicionou no Twitter: “Essas mudanças geralmente não são publicadas no blog, mas representam muito trabalho e uma melhoria significativa na experiência geral”.
