Principais destaques
- Novo fórum sobre AGI: pesquisadores do Google e da DeepMind lançaram um instituto para ampliar a discussão sobre inteligência artificial geral e reunir visões diferentes.
- Transparência virou problema: pesquisadores defendem limites para sistemas cujo raciocínio fica cada vez mais difícil de acompanhar e fiscalizar.
- Hassabis propõe supervisão: o cofundador da DeepMind sugere um organismo liderado pelos EUA para avaliar modelos de IA de fronteira antes de seu lançamento.
A corrida pela inteligência artificial geral, a famosa AGI, ganhou mais uma arena de disputa. Só que, desta vez, a ideia não é lançar um modelo novo.
O Google e o Google DeepMind anunciaram na quarta-feira o DeepMind Institute, criado para ampliar a conversa sobre o futuro da AGI e colocar diferentes perspectivas na mesma mesa.
Na direção estão Shane Legg, cofundador da DeepMind, James Manyika, executivo do Google, e Demis Hassabis, presidente do Google DeepMind. Legg também assume a função de editor-chefe.
A proposta é discordar também 🗣️
O instituto nasce com uma premissa curiosa para uma organização ligada a uma das maiores empresas de IA do mundo: as pessoas envolvidas não precisam concordar.
A própria apresentação afirma que Google, Google DeepMind e pesquisadores de outras partes do mundo provavelmente terão opiniões diferentes. E mais: essas opiniões podem mudar conforme novos dados e informações apareçam.
🔎 A ideia central: em vez de tratar a AGI como uma discussão com respostas prontas, o instituto quer acompanhar as mudanças na fronteira tecnológica e colocar as divergências em público.
A primeira coleção reúne quatro ensaios, abordando desde políticas econômicas para lidar com possíveis impactos da AGI até princípios para o florescimento humano.
Também entram na pauta a transparência do raciocínio dos modelos e uma proposta para avaliar sistemas de IA de fronteira.
O raciocínio das máquinas está ficando mais difícil de enxergar 👀
Um dos textos foi escrito pelos pesquisadores de segurança da DeepMind Rohin Shah e Anca Dragan.
O argumento é direto: a redução da transparência dos modelos de IA não precisa ser tratada como um destino inevitável.
Modelos mais avançados podem realizar processos internos cada vez mais difíceis de observar e verificar. Para pesquisadores e reguladores, isso cria um problema bastante concreto: como fiscalizar um sistema quando fica mais difícil entender o caminho que ele percorreu até chegar a uma resposta?
É aí que aparece o conceito de “opaque serial depth”, usado para descrever a quantidade de computação sequencial que um modelo consegue executar sem produzir um registro de raciocínio que possa ser lido e analisado.
💡 O ponto de tensão: quanto mais poderosa e opaca fica uma IA, maior pode ser a distância entre aquilo que o sistema faz e aquilo que humanos conseguem efetivamente monitorar.
Os autores defendem que desenvolvedores e reguladores deveriam enfrentar explicitamente esse trade-off de segurança.
Entre as possibilidades discutidas estão limitar essa profundidade de computação opaca ou exigir que os desenvolvedores demonstrem que sistemas menos transparentes continuam oferecendo níveis equivalentes de monitorabilidade.
E se a fiscalização vier antes do lançamento? 🧪
O segundo movimento importante aparece em um ensaio assinado por Demis Hassabis.
O executivo propõe a criação de um organismo de padrões para IA de fronteira liderado pelos Estados Unidos, responsável por avaliar os modelos mais avançados antes que eles sejam disponibilizados.
Inicialmente, a participação seria voluntária. As empresas poderiam enviar seus modelos para avaliação até 30 dias antes do lançamento.
| Etapa | Como funcionaria |
|---|---|
| Fase inicial | Empresas submetem voluntariamente os modelos para avaliação |
| Evolução | O sistema passa a desenvolver avaliações mais independentes |
| Possível fase obrigatória | Aprovação nos testes poderia virar requisito para implantação nos EUA |
A proposta, portanto, começa com uma espécie de período de teste para o próprio mecanismo de fiscalização.
Se ele demonstrar que funciona, a aprovação poderia deixar de ser voluntária e se tornar uma exigência para a implantação de modelos de fronteira nos Estados Unidos.
O teste secreto entra em cena 🔐
Existe ainda um detalhe importante na proposta de Hassabis.
No começo, o organismo desenvolveria avaliações em consulta com as próprias empresas de IA. Mas, posteriormente, passaria a criar avaliações independentes e não divulgadas previamente.
São os chamados “held-out tests”.
A lógica é simples: se uma empresa conhece exatamente o teste antes de lançar seu modelo, pode otimizar o sistema especificamente para passar naquela avaliação.
Com testes que permanecem ocultos, essa possibilidade diminui.
🧩 A mudança de lógica: não basta saber as perguntas da prova. O modelo teria de continuar apresentando desempenho adequado diante de avaliações que seus desenvolvedores não conhecem antecipadamente.
E se a situação ficar séria demais? ⚠️
Hassabis também deixa aberta uma possibilidade mais forte.
O sistema poderia ser ampliado caso os riscos associados à tecnologia exigissem medidas adicionais. O ensaio menciona até uma eventual desaceleração coordenada entre desenvolvedores de IA de fronteira.
A proposta é apresentada como algo que poderia ser “ratcheted up”, ou intensificado, conforme a gravidade da situação.
Isso coloca o debate em um território diferente.
Não se trata apenas de pedir mais transparência às empresas ou criar padrões comuns. Em um cenário de salvaguardas consideradas insuficientes, a discussão passa a incluir a possibilidade de coordenar o ritmo de desenvolvimento dos sistemas mais avançados.
A conversa sobre segurança mudou de tom 📈
Os ensaios do novo instituto aparecem em um momento de mudança no debate sobre segurança da IA.
A discussão do setor vem se deslocando de declarações amplas sobre riscos para propostas mais concretas envolvendo divulgação de informações, avaliação externa e mecanismos de fiscalização.
E, quando essas salvaguardas não acompanham a velocidade dos avanços, surge uma proposta ainda mais sensível: desacelerar o desenvolvimento coordenadamente.
Essa mudança ganhou força nesta semana com o apoio de líderes do setor a elementos da proposta do CEO da Anthropic, Dario Amodei, para estabelecer um ritmo mais controlado para o avanço da IA de fronteira.
Afinal, quem fiscaliza quem? 🤔
É justamente aí que o DeepMind Institute pode ganhar relevância.
O instituto reúne pesquisadores e executivos diretamente envolvidos no desenvolvimento dessas tecnologias, mas afirma querer abrir espaço para perspectivas divergentes e para mudanças de posição conforme novas evidências apareçam.
A questão agora é menos sobre criar mais uma publicação sobre AGI e mais sobre quem ajudará a definir as regras enquanto a tecnologia avança.
É como construir os sinais de trânsito enquanto os carros já estão acelerando.
E, conforme os modelos ficam mais poderosos e difíceis de examinar, a próxima etapa dessa corrida pode depender não apenas de quem desenvolve a tecnologia mais avançada, mas de quais mecanismos serão criados para acompanhar o que acontece dentro dela.
