Principais destaques
- Um único comando: uma proposta permite que sites indiquem no
robots.txt que não autorizam o uso de seu conteúdo no treinamento de IA.
- Apoio das gigantes: Google, Microsoft, OpenAI e Anthropic anunciaram suporte à iniciativa, mas a implementação seguirá cronogramas diferentes.
- Limites da proteção: o sinal expressa uma preferência, não uma obrigação absoluta, e não garante pagamento ou licenciamento pelo uso do conteúdo.
Administrar as permissões de rastreamento de um site pode se tornar mais simples. Google, Microsoft, OpenAI e Anthropic apoiam uma proposta para padronizar a forma como os editores de sites comunicam que não querem seus conteúdos utilizados no treinamento de modelos de inteligência artificial.
A iniciativa aproveita um arquivo que já faz parte da infraestrutura da web: o robots.txt. Em vez de configurar regras separadas para cada empresa, os responsáveis pelos sites poderão usar um sinal compartilhado para expressar sua preferência.
A proposta foi publicada na sexta-feira por Kevin Kelley, da Anthropic, como um documento preliminar submetido à Internet Engineering Task Force (IETF), organização responsável pelo desenvolvimento de padrões abertos da internet.
🤝 Quatro gigantes, uma mesma direção
O anúncio ganhou força porque as quatro empresas manifestaram apoio à iniciativa no mesmo dia.
Google, OpenAI e Microsoft publicaram seus próprios comunicados, enquanto Kelley apresentou a proposta à lista de discussão da IETF dedicada às preferências de uso de conteúdo por sistemas de IA.
A ideia é reduzir a fragmentação atual. Hoje, um site que deseja impedir o uso de suas páginas precisa conhecer e configurar os controles específicos de cada rastreador.
🔧 Como funcionaria: o novo sinal utiliza o identificador __usage_ai-training, que pode ser incluído em um grupo de regras do robots.txt. O site pode indicar quais caminhos não devem ser utilizados para treinamento.
Isso permitiria, por exemplo, restringir o uso de artigos jornalísticos e, ao mesmo tempo, liberar uma área específica, como um kit de imprensa.
💡 A mudança separa duas decisões que nem sempre precisam andar juntas: permitir que um conteúdo seja encontrado na internet e autorizar que ele seja usado para treinar modelos de IA.
Essa distinção é especialmente importante para veículos de comunicação, blogs, editoras e outros produtores de conteúdo que dependem da descoberta de suas páginas pelos mecanismos de busca.
📅 Quando cada empresa vai implementar a regra?
O apoio é compartilhado, mas os prazos não são iguais. As empresas também pretendem manter parte dos controles que já utilizam.
| Empresa | Cronograma anunciado |
|---|---|
| Anthropic | Já começou a trabalhar na implementação |
| OpenAI | Pretende implementar o sinal nos próximos meses |
| Prevê suporte no início de 2027 | |
| Microsoft | Vai respeitar as novas preferências a partir de 1º de fevereiro de 2027 |
Anthropic e OpenAI mantêm controles próprios
A Anthropic pretende complementar seus mecanismos atuais, e não substituí-los. Kelley também alertou que a adoção exigirá tempo para lidar com possíveis complicações técnicas e casos específicos.
A OpenAI, por sua vez, afirmou que pretende implementar o sinal nos próximos meses. Controles já existentes, como as regras relacionadas ao rastreador GPTBot, continuarão relevantes.
Isso significa que a padronização não elimina imediatamente a necessidade de compreender as configurações específicas de cada plataforma.
Google prepara a mudança para 2027
O Google informou que pretende oferecer suporte à iniciativa no início de 2027.
Atualmente, o Google-Extended é um dos mecanismos utilizados por sites para controlar determinados usos de seu conteúdo em sistemas de IA do Google.
Segundo a orientação anunciada pela empresa, se um site utilizar o novo sinal para bloquear o treinamento e não mencionar explicitamente o Google-Extended, o Google interpretará a configuração como um bloqueio para esse controle.
O Google também ressalta uma consequência prática: sites que permitem o uso autorizado pelo Google-Extended podem continuar aparecendo em respostas do aplicativo Gemini e receber cliques a partir dessas experiências.
Microsoft vai além do treinamento
A Microsoft começará a respeitar as novas preferências em 1º de fevereiro de 2027. A mudança substituirá as tags NoArchive e NoCache que a empresa utiliza desde 2023.
Mas há outro componente. A companhia também está adicionando uma configuração específica, por página, para controlar o grounding, processo em que uma resposta de IA utiliza informações de páginas disponíveis na web.
A opção poderá permitir o uso por produtos próprios da Microsoft, como o Copilot, enquanto bloqueia serviços de grounding oferecidos pela empresa a outras organizações.
⚠️ Treinamento e grounding não são a mesma coisa: o primeiro envolve o uso de conteúdo para treinar modelos; o segundo envolve consultar conteúdo para fundamentar respostas. Controlar uma atividade não significa necessariamente bloquear a outra.
🚧 O problema: a regra não é uma garantia absoluta
Apesar do apoio de empresas importantes, a proposta ainda não é um padrão oficial da internet.
O documento é uma submissão individual. O registro da IETF informa que a organização não endossou a proposta e que ela ainda não tem posição formal no processo de padronização.
Há outras limitações importantes:
- A ausência do sinal não significa proibição: se o site não configurar o grupo, não terá expressado uma preferência por esse mecanismo.
- As regras existentes continuam relevantes: as instruções gerais para rastreadores não equivalem automaticamente à nova preferência de treinamento.
- Acordos privados podem prevalecer: contratos entre sites e empresas de IA podem estabelecer condições diferentes.
- O rastreamento não é o foco principal: o sinal declara uma preferência sobre o uso do conteúdo, não constitui uma ordem geral para impedir que uma página seja acessada.
Portanto, a adoção dependerá tanto da implementação técnica quanto da maneira como cada empresa interpretará e respeitará as configurações.
💰 E quanto ao pagamento aos produtores de conteúdo?
A proposta também não resolve a disputa sobre remuneração pelo uso de conteúdo jornalístico e editorial.
A Microsoft deixou claro que as novas preferências não estabelecem acordos de licenciamento ou pagamento. A empresa também alertou que bloquear o grounding pode reduzir significativamente a visibilidade do conteúdo em experiências geradas por IA, embora isso não altere a posição da página nos resultados tradicionais do Bing.
O debate é relevante para sites que precisam equilibrar a exposição de seus conteúdos com o controle sobre sua utilização comercial.
Em julho, a Cloudflare adotou uma postura mais agressiva contra rastreadores de IA, defendendo um modelo em que eles paguem pelo acesso ou sejam bloqueados. Seu CEO também alertou para a possibilidade de o tráfego automatizado superar amplamente o de pessoas na web.
Na Austrália, emissoras como ABC e SBS também defenderam que empresas de IA remunerem o uso de notícias.
🌐 E a Meta? Andy Stone, responsável pela comunicação da empresa, manifestou apoio no X à ideia de um sinal comum. No entanto, não confirmou se a Meta respeitará a proposta.
🇪🇺 A iniciativa também interessa à Europa
O Google afirmou que a proposta é compatível com o Código de Prática europeu para modelos de IA de uso geral, associado ao AI Act. O código reconhece o robots.txt como um dos principais mecanismos para que editores expressem preferências legíveis por máquinas.
A discussão também conta com a participação de representantes de organizações como Financial Times, BBC, Bertelsmann e European Publishers Council, citados nos agradecimentos do documento.
Isso mostra que o tema não se limita às empresas que desenvolvem modelos. Para os editores, o desafio é estabelecer regras que sejam tecnicamente simples, amplamente reconhecidas e capazes de preservar o controle sobre o conteúdo.
O que muda para quem administra um site?
Para proprietários de sites, a proposta pode reduzir o trabalho de manter políticas separadas para cada empresa de IA. Mas não é recomendável tratar o novo sinal como uma proteção completa antes que sua implementação esteja disponível e seus efeitos sejam confirmados.
O robots.txt continuará sendo uma peça importante dessa estratégia, ao lado dos controles específicos de cada rastreador e dos acordos de licenciamento aplicáveis.
A iniciativa tenta criar uma linguagem comum entre quem publica conteúdo e quem desenvolve IA. O próximo passo será transformar o apoio público das gigantes em uma regra efetivamente implementada e respeitada em toda a indústria.
