Caso Grok: quando imagens sintéticas produzem danos reais

Nas últimas semanas, o chatbot Grok (da xAI), que integra o mesmo grupo da rede social X (ex-Twitter),  está no centro de uma controvérsia que envolve a geração de imagens sexualizadas sem consentimento. 

Essas imagens são criadas em questão de segundos, apresentam aparência fotorrealista e podem ser geradas tanto do zero quanto a partir de fotografias reais. O episódio reacende uma discussão fundamental: quando tecnologias desse tipo são disponibilizadas sem salvaguardas eficazes, os riscos deixam de ser abstratos e passam a produzir danos concretos.

Quem são as principais pessoas afetadas

Esse tipo de prática não impacta todas as pessoas da mesma forma. Evidências recentes indicam que mulheres, crianças e adolescentes são desproporcionalmente afetados. Uma análise conduzida pela ONG AI Forensics, que avaliou mais de 20 mil imagens geradas recentemente pelo Grok, identificou que mais da metade delas retratava pessoas com pouca roupa, sendo 81% mulheres.

A tecnologia acaba por não criar um problema novo, mas sim reproduzir e ampliar no ambiente digital violências que já são estruturais e históricas. Além das imagens de conotação sensual ou sexual, também se observa a geração recorrente de deepfakes e conteúdos de desinformação envolvendo pessoas públicas, como políticos e celebridades.

Em determinados períodos, a ferramenta chegou a produzir até 85 vezes mais imagens sexualizadas por hora, alcançando cerca de 6.700 publicações por hora, o que demonstra a escala e a velocidade com que esse tipo de conteúdo pode se espalhar. Esses dados, compilados pela consultoria Genevieve Oh, ajudam a compreender por que os impactos são tão difíceis de conter uma vez que o sistema já está em operação.

Falhas por design e ausência de salvaguardas

No início do ano, o próprio Grok reconheceu que falhas em seus mecanismos de proteção levaram à geração de imagens sexualizadas envolvendo crianças e adolescentes, que acabaram sendo publicadas na plataforma X. O episódio evidencia problemas de classificação de risco e a ausência de barreiras estruturais robustas, orientadas pela prevenção de danos desde o design do sistema.

Após a primeira onda de críticas, a plataforma limitou o uso do Grok a usuários pagantes. A medida foi interpretada por especialistas como uma forma de monetizar um ambiente já marcado por abusos, sem enfrentar o problema central: a insuficiência de salvaguardas técnicas e organizacionais para impedir violações de direitos.

Repercussão internacional e respostas institucionais

A repercussão do caso ultrapassou fronteiras rapidamente. 

Países do Sudeste Asiático, como Indonésia e Malásia, bloquearam o acesso ao Grok e passaram a mover ações judiciais contra a X, alegando falhas na prevenção de conteúdo nocivo e na proteção de usuários.

No Reino Unido, o governo anunciou a aceleração de uma lei que criminaliza deepfakes de natureza sexual. Austrália e Índia abriram investigações formais e emitiram alertas públicos. Nos Estados Unidos, parlamentares e organizações da sociedade civil pressionaram lojas de aplicativos a removerem o X e o Grok de suas bibliotecas.

No Brasil, o Instituto de Defesa do Consumidor (Idec) protocolou uma denúncia junto à Agência Nacional de Proteção de Dados (ANPD), solicitando a suspensão do Grok no país, com base em possíveis violações de direitos e falhas na proteção de dados pessoais.

O posicionamento da plataforma

Diante das críticas, Elon Musk, proprietário do X e do Grok, afirmou desconhecer a existência de imagens de nudez envolvendo menores geradas pelas plataformas e reiterou que os sistemas estariam programados para recusar solicitações ilegais, em conformidade com a legislação local.

No dia 14 de janeiro, a empresa anunciou a implementação de novas medidas tecnológicas para impedir que o Grok permita a edição de imagens de pessoas reais com roupas consideradas reveladoras, como biquínis ou roupas íntimas. 

O cenário jurídico brasileiro

No Brasil, legislações como o Estatuto da Criança e do Adolescente Digital – ECA Digital (que caminha para sua entrada em vigor), a Lei Geral de Proteção de Dados – LGPD e o Código de Defesa do Consumidor – CDC dispõem de mecanismos legais contra tais práticas. 

Além disso, o PL 2338/23, conhecido como Marco Legal da Inteligência Artificial, incorpora princípios como o dever de prevenir danos, a realização de avaliações de risco antes da disponibilização de sistemas e a responsabilização por usos previsíveis e abusivos da tecnologia. Casos como este ajudam a ilustrar por que esses dispositivos são centrais no debate regulatório.

O que vítimas de deepfakes e deepnudes podem fazer:

• Preservar provas, salvando as URLs, capturas de tela e registros de data e contexto da publicação.
• Denunciar o conteúdo diretamente nas plataformas em que ele circula, utilizando os canais de reporte por violação de direitos.
• Registrar ocorrência, especialmente em casos envolvendo ameaça, extorsão, violência sexual ou menores de idade.
• Buscar apoio jurídico e psicológico, já que os impactos são não apenas legais, mas também emocionais e sociais.
• Acionar autoridades competentes, como o Ministério Público, delegacias especializadas e, quando cabível, a ANPD.

A prevenção também passa por educação digital, pressão por melhores políticas de plataforma e fortalecimento de mecanismos de responsabilização.

Por uma IA com direitos

O episódio reforça uma constatação fundamental: a inovação tecnológica não pode se sobrepor à dignidade humana e aos direitos fundamentais. Quando riscos conhecidos são ignorados, o resultado não é progresso, mas dano real e retrocesso social.

Por meio da campanha IA com Direitos trabalhamos para que a Inteligência Artificial seja regulada de maneira justa e inclusiva, promovendo uma sociedade mais equitativa e informada.

Acesse dataprivacybr.org/projeto/ia-com-direitos para conhecer nossas produções sobre o tema e faça parte desta luta.