Grok e as ‘deep fakes’ sexuais: caso de tecnologia sem freios, sem cuidado ou consequência

A crise envolvendo o Grok, sistema de inteligência artificial generativa do X (antigo Twitter), não é um acidente isolado nem um “mau uso inesperado” da tecnologia. Ela expõe, de forma crua, o que acontece quando ferramentas poderosas são colocadas nas mãos de qualquer pessoa, sem filtros, salvaguardas ou responsabilização clara das empresas que as operam.

Leia Cristina Fibe: Proibir Grok é pouco, pois o uso violento de ferramenta de IA revela problema maior

Nas últimas semanas, o Grok virou alvo de críticas e investigações globais depois que usuários descobriram que ele poderia gerar e compartilhar imagens sexualizadas de pessoas reais, incluindo mulheres e crianças, sem consentimento e a partir de fotos existentes ou de prompts simples como “coloque-a de biquíni”.

Já se inscreveu no canal do Amado Mundo no WhatsApp? Clique aqui para receber nosso conteúdo

A repercussão levou a proibições temporárias em países como Indonésia e Malásia, a investigações legais nos Estados Unidos e no Reino Unido e a mudanças na ferramenta para limitar a função de criação de imagens apenas a usuários pagantes, embora ainda haja relatos de que as restrições não impedem totalmente o abuso.

Há anos é possível gerar imagens sexualizadas falsas

Modelos de IA aprendem padrões visuais a partir de grandes bases de dados e conseguem recombinar esses padrões para criar praticamente qualquer coisa. Isso não é novidade para pesquisadores, desenvolvedores ou para quem acompanha o setor de perto.

A diferença do Grok não está na existência da tecnologia, mas na facilidade extrema de acesso e uso.

Há milhares de modelos capazes de produzir deep fakes. A maioria, porém, exige conhecimento técnico, ambientes específicos ou circulação em espaços menos visíveis da internet. O Grok rompe essa barreira: basta um navegador, alguns comandos simples e pronto. Quando uma tecnologia deixa de exigir habilidade e passa a exigir apenas intenção, o risco muda de escala.

Por isso, o argumento de que “a responsabilidade é do usuário” é insuficiente e juridicamente frágil. Facas, por exemplo, existem em todas as cozinhas, mas ninguém distribui uma lâmina industrial na porta de uma escola. O que diferencia risco aceitável de risco sistêmico é o contexto de uso, o grau de acesso e a previsibilidade do dano. No caso do Grok, o dano era previsível, recorrente e amplamente documentado antes mesmo de a crise ganhar repercussão institucional.

Governos e parlamentos reagiram, mas tarde

Nos Estados Unidos, o Senado citou explicitamente o Grok ao aprovar legislação contra deep fakes sexuais. No Brasil, entidades como o Idec (Instituto Brasileiro de Defesa do Consumidor) acionaram o Estado por possíveis violações ao ECA (Estatuto da Criança e do Adolescente), à LGPD (Lei Geral de Proteção de Dados), ao Marco Civil da Internet e ao Código de Defesa do Consumidor. Essas reações são necessárias, mas revelam um atraso estrutural.

Enquanto o debate regulatório avança lentamente, o impacto social já está em curso. Mulheres e adolescentes são desproporcionalmente afetados. A tecnologia não apenas reaproveita imagens existentes, ela cria falsas evidências de algo que nunca aconteceu, mas que é visualmente convincente o suficiente para causar humilhação, extorsão, isolamento e trauma. Muitas vezes, a vítima nem sequer descobre que a imagem existe. Quando descobre, já é tarde demais para contê-la.

É importante ser honesto: não existe solução técnica capaz de “apagar” esse tipo de conteúdo da internet. Ferramentas de busca ajudam pouco, porque essas imagens circulam em grupos fechados, aplicativos de mensagem e redes paralelas. A resposta não está apenas na remoção, mas na prevenção. Ou seja, em impedir que ferramentas de uso massivo tornem esse abuso trivial.

Bloquear o Grok é possível. Responsabilizar a empresa também. Nenhuma dessas medidas é perfeita, mas ambas reduzem danos. O foco deve estar nos sistemas “no-code”, que permitem abusos graves sem qualquer conhecimento técnico. O usuário altamente especializado sempre encontrará caminhos; o papel do Estado e das plataformas é impedir que o abuso vire um comportamento banal, acessível com dois cliques.

Educação como linha de frente da proteção

Há ainda uma dimensão que a tecnologia não resolve sozinha: a educação. Escolas, famílias e comunidades precisam tratar o tema de forma direta, sem moralismo e sem pânico, mas com clareza sobre riscos, consentimento e consequências. Mudanças bruscas de comportamento em adolescentes, especialmente entre 12 e 14 anos, não podem ser ignoradas. O silêncio é um aliado do abuso.

O caso Grok nos obriga a abandonar a fantasia de que inovação pode avançar sem responsabilidade. Quando uma empresa escolhe lançar uma tecnologia em escala global, ela assume o dever de prever usos nocivos óbvios e agir antes que eles se tornem epidemia. Não se trata de censurar a inteligência artificial, mas de reconhecer um limite básico: o direito à inovação não pode se sobrepor ao direito à dignidade.

O problema não é que a tecnologia exista. O problema é quando ela é entregue sem freios, sem cuidado e sem consequência.

Assista ao comentário completo de Fabro Steibel no Matinal desta sexta-feira (16):