Principais destaques
- Autoridades de São Francisco acusam Apple e Google de manter aplicativos de IA que geram imagens íntimas falsas sem autorização das vítimas.
- Empresas podem enfrentar penalidades por supostamente lucrar com aplicativos que facilitam a criação de deepfakes pornográficos.
- O caso amplia o debate sobre os limites da inteligência artificial e a responsabilidade das grandes plataformas digitais.
A inteligência artificial vem revolucionando diversos setores, desde a criação de conteúdo até a automação de tarefas complexas.
No entanto, o mesmo avanço tecnológico que oferece inúmeras oportunidades também tem sido utilizado para práticas abusivas. Um dos exemplos mais preocupantes é o crescimento dos chamados aplicativos “nudify”, ferramentas que utilizam IA para modificar fotografias e criar imagens falsas que simulam pessoas sem roupas, tudo isso sem qualquer autorização dos retratados.
Agora, esse mercado está no centro de uma nova disputa judicial nos Estados Unidos. A cidade de São Francisco notificou oficialmente Apple e Google para que removam dezenas desses aplicativos de suas lojas digitais. Segundo as autoridades, as empresas não apenas permitiram que esses programas permanecessem disponíveis ao público, como também teriam obtido ganhos financeiros com as transações realizadas dentro dessas plataformas.
O caso chama atenção porque coloca em discussão até onde vai a responsabilidade das gigantes da tecnologia quando aplicativos desenvolvidos por terceiros são usados para facilitar crimes envolvendo inteligência artificial. A discussão pode influenciar futuras regulamentações em diversos países e servir de referência para outras plataformas digitais.
Autoridades afirmam que empresas foram alertadas diversas vezes
O procurador da cidade de São Francisco, David Chiu, afirma que Apple e Google já sabiam da existência desses aplicativos há bastante tempo. Segundo ele, as empresas receberam diversos avisos indicando que ferramentas capazes de produzir imagens íntimas falsas estavam sendo distribuídas normalmente em suas lojas oficiais.
De acordo com a legislação da Califórnia, facilitar ou colaborar conscientemente com a criação de pornografia falsa sem consentimento pode configurar violação da lei. Em 2025, o estado aprovou uma nova legislação que ampliou ainda mais essa responsabilidade, permitindo que vítimas também processem empresas que tenham contribuído para a distribuição desse tipo de conteúdo.
Na avaliação das autoridades, mesmo após a entrada em vigor dessas normas, as duas empresas continuaram processando pagamentos realizados dentro dos aplicativos e permitindo sua distribuição. Por esse motivo, elas podem ser responsabilizadas civilmente.
As notificações enviadas às companhias também citam investigações conduzidas pelo Tech Transparency Project. Em relatórios publicados ao longo do ano, a organização identificou dezenas de aplicativos que utilizavam inteligência artificial para produzir imagens íntimas falsas em troca de pagamentos realizados pelos próprios sistemas das lojas digitais.
Segundo os documentos, além de hospedar esses aplicativos, as plataformas também teriam facilitado sua descoberta pelos usuários por meio dos mecanismos internos de busca e recomendação.
Deepfakes pornográficos se tornam um dos maiores desafios da IA
Os deepfakes deixaram de ser apenas uma curiosidade tecnológica para se transformar em um problema global. Utilizando modelos avançados de inteligência artificial, essas ferramentas conseguem alterar fotografias e vídeos com um nível de realismo que, muitas vezes, dificulta a identificação de montagens.
Embora a tecnologia tenha aplicações legítimas em áreas como cinema, entretenimento e produção audiovisual, seu uso para criar conteúdo íntimo falso sem autorização das vítimas tornou-se uma das maiores preocupações envolvendo IA generativa.
Durante muito tempo, celebridades eram os principais alvos desse tipo de manipulação. Atrizes, cantoras, influenciadoras e apresentadoras frequentemente tinham suas imagens alteradas e compartilhadas na internet. Entretanto, com a popularização dos aplicativos “nudify”, praticamente qualquer pessoa que possua fotografias públicas nas redes sociais passou a correr esse risco.
Especialistas alertam que basta uma única fotografia para que alguns desses sistemas produzam imagens falsas extremamente convincentes. Isso aumenta o potencial de assédio, extorsão, cyberbullying e danos psicológicos às vítimas, especialmente mulheres e adolescentes, que continuam sendo os principais alvos desse tipo de abuso digital.
O crescimento dessas ferramentas também levanta preocupações sobre privacidade, segurança digital e o uso ético da inteligência artificial. À medida que os modelos ficam mais sofisticados, torna-se cada vez mais difícil distinguir conteúdos reais daqueles produzidos artificialmente.
Apple e Google dizem que estão reforçando o combate
Após a divulgação da ação das autoridades, Apple e Google responderam oficialmente às acusações.
A Apple declarou que aplicativos desse tipo violam as diretrizes da App Store. Segundo a empresa, três dos aplicativos mencionados já foram removidos e seus desenvolvedores estão sendo excluídos do programa da companhia. Outros aplicativos continuam sob análise e poderão ser banidos caso não façam as alterações exigidas pelas políticas da plataforma.
O Google informou que todos os cinco aplicativos citados na notificação já foram suspensos da Google Play. Além disso, afirmou que vem removendo centenas de aplicativos que descumprem suas políticas relacionadas ao uso indevido da inteligência artificial.
A empresa também revelou que restringiu pesquisas envolvendo termos como “nudify” dentro da loja de aplicativos para dificultar que usuários encontrem ferramentas destinadas à criação de imagens íntimas falsas.
Apesar dessas medidas, as autoridades consideram que a resposta ocorreu apenas depois de sucessivos alertas enviados ao longo dos últimos meses. Por isso, foi estabelecido um prazo de 28 dias para que Apple e Google apresentem uma resposta formal ao município.
Caso seja constatado que as empresas descumpriram a legislação estadual, elas poderão enfrentar sanções civis e novas ações judiciais.
O episódio reforça uma discussão que vem crescendo rapidamente em todo o setor de tecnologia: até que ponto plataformas digitais devem ser responsabilizadas pelos aplicativos que distribuem e monetizam. Com o avanço acelerado da inteligência artificial, governos, empresas e especialistas ainda buscam encontrar um equilíbrio entre inovação tecnológica, liberdade de desenvolvimento e proteção das pessoas contra usos maliciosos da IA.
Independentemente do desfecho dessa disputa, o caso demonstra que a regulamentação da inteligência artificial está entrando em uma nova fase, na qual não apenas os criadores das ferramentas poderão responder por abusos, mas também as empresas responsáveis por disponibilizar essas tecnologias ao público.
