Em uma aba do navegador, o vídeo de um programa de auditório, com uma apresentadora de cabelos lisos e curtos, usando maiô preto e salto alto, enquanto entrevista pessoas e diz coisas absurdas. Em outra, uma notícia sobre alunos de um colégio particular de Belo Horizonte que, com o uso de um aplicativo de inteligência artificial, estariam gerando e comercializando “nudes” falsos das colegas de escola, meninas com idades entre 12 e 17 anos. Cenas de um momento da história em que o avanço da inteligência artificial torna inevitável trazer à pauta o uso dessa importante ferramenta, portadora de grandes promessas, na mesma proporção em que se revela uma grave ameaça a direitos diversos.

Para muito além de esquetes de humor, ferramentas de inteligência artificial têm sido usadas com grande intensidade na prática de violência de gênero, mais especificamente a violência sexual.

A criação de “deepfakes”, conteúdos falsos que simulam situações irreais a partir de imagens reais, é realizada através de aplicativos de fácil acesso que permitem transformar em imagem, áudio e vídeo qualquer ideia concebida pelos criminosos. Eles passam a ter, literalmente na palma da mão, o poder de gerar cenas verossímeis de meninas e mulheres em situações de humilhação, agressão e abuso.

Um estudo de 2019 realizado pela empresa de segurança Deep Trace indicou que 96% dos vídeos com deepfakes disponibilizados online continham abuso sexual baseado na imagem e 100% dos alvos dessas simulações eram mulheres, cujas fotos e vídeos públicos, retratando situações cotidianas, são usados para alimentar o algoritmo e gerar cenas com conteúdo sexual. 

Dentre os aplicativos mais utilizados está o DeepNude, cuja única funcionalidade é “remover” as roupas da vítima, substituindo-a por uma simulação de como seria aquele corpo nu e que funciona apenas para corpos femininos, não sendo possível simular nudez masculina, ainda que a foto original seja de um homem. 

Como as deepfakes afetam a vida das mulheres?

Apesar da intensa luta dos movimentos sociais na prevenção e combate da violência sexual, a prática ainda é epidêmica em nossa sociedade. O advento de ferramentas de deepfake, fáceis de acessar e sem regulamentação, piora esse quadro, pois alavanca os números e serve como instrumento de naturalização de tais violências. 

São incontáveis os casos de uso dessas ferramentas contra mulheres e meninas com a divulgação de falsas cenas de nudez que geram consequências reais e severas na vida delas. Uma vez compartilhadas nos sites e redes, não importa que as imagens sejam artificiais, o estigma que fica é de que aquele é um corpo que pode ser visto e acessado, independente da vontade da vítima.

Mesmo quando não têm um alvo específico e retratam personagens fictícios, os conteúdos sexuais violentos criados por inteligência artificial, ao serem amplamente disseminados, aumentam a exposição social a esse tipo de cenário. Como consequência, contribuem para a normalização de práticas criminosas, como a produção e divulgação de cenas simuladas de exploração sexual infantil. 

A agressão sexual pelo uso de deepfakes é mais difícil de apurar, visto que o conteúdo sintético pode ser criado por qualquer um que tenha acesso às redes sociais ou outra fonte de imagens (não íntimas) da vítima. O simples compartilhamento em um grupo de Whatsapp ou Telegram é suficiente para que a proporção de alcance passe a ser incalculável, impossibilitando a identificação de todas as pessoas que receberam. 

Uma vez na internet, sem direito de distinção entre o real e o inventado e sem direito ao esquecimento, essas imagens representam um perigo constante na vida das meninas e mulheres, restringindo sua liberdade e comprometendo o bem-estar psicológico, a estabilidade de sua vida profissional e as interações sociais.

Em razão da cultura do estupro que estrutura a nossa sociedade, a mulher que tem sua sexualidade exposta sempre será julgada e descredibilizada, por supostamente estar executando práticas que não condizem com o viés moralista de comportamento que é depositado sobre os corpos femininos. Com o surgimento das deepfakes, a situação é piorada, pois agora a mulher sequer precisa praticar a conduta dita como “desviante”, basta que alguém crie um vídeo falso com o rosto dela para que o linchamento social aconteça. 

Tais práticas acabam por desafiar o discurso de que mulheres que “se dão ao respeito” não são vítimas de violência sexual, pois mesmo que a mulher faça tudo “certo”, dentro dos padrões socialmente esperados, ela pode ser alvo desse novo tipo de violência, que tem como único limite a imaginação do perpetrador.

A existência de deepfakes facilita também a prática de outros crimes, como nos casos em que o autor cria a imagem, mas em vez de divulgar de imediato, usa esse material para extorquir a vítima, com a ameaça da exposição. Portanto, a conversa sobre a responsabilidade jurídica na criação e divulgação desses simulacros não pode mais ser adiada.

É preciso que conheçamos os dispositivos existentes, que a legislação seja adaptada no que é necessário e que estratégias sejam criadas, não somente para combater o ato já praticado, mas para prevenir que isso aconteça.

De quem é a responsabilidade?

No que diz respeito à responsabilidade penal individual, o artigo 216-B do Código Penal, criminaliza as condutas de “Produzir, fotografar, filmar ou registrar, por qualquer meio, conteúdo com cena de nudez ou ato sexual ou libidinoso de caráter íntimo e privado sem autorização dos participantes”. O adendo do parágrafo primeiro informa que incorre na mesma pena quem “realiza montagem em fotografia, vídeo, áudio ou qualquer outro registro com o fim de incluir pessoa em cena de nudez ou ato sexual ou libidinoso de caráter íntimo”. 

Quando a vítima é criança ou adolescente, o art. 241-C do ECA traz redação similar e enumera como crime a conduta de “simular a participação de criança ou adolescente em cena de sexo explícito ou pornográfica por meio de adulteração, montagem ou modificação de fotografia, vídeo ou qualquer outra forma de representação visual”.

Tais dispositivos, criados em 2018 e 2008 respectivamente, não mencionam expressamente o uso de inteligência artificial e, por essa razão, há quem defenda a criação de um tipo penal específico para esses casos.

Algo semelhante ocorre no parágrafo único do art. 147-B do Código Penal, que trata da prática de violência psicológica contra a mulher e, em recente atualização legislativa, teve seu texto alterado para incluir o parágrafo único, que aumenta a pena de metade “se o crime é cometido mediante uso de inteligência artificial ou de qualquer outro recurso tecnológico que altere imagem ou som da vítima”. Nesse caso, o texto aborda o uso de inteligência artificial, mas não abrange os crimes contra a dignidade sexual.

Em outras palavras, a legislação brasileira possui alguns dispositivos que, em hipótese, poderiam ser aplicados à violência sexual com o uso de ferramentas de inteligência artificial, mas não há lei que trate especificamente destes casos ou que nomeie estes crimes de forma precisa.

Isso deixa margem para entendimento judicial tanto no sentido da aplicação da lei existente, como no de falta de regulamentação específica sobre o assunto, o que acaba trazendo certa insegurança jurídica no que diz respeito à responsabilização individual.

No entanto, quando falamos de conteúdos gerados por aplicativos que existem para este fim, compartilhados pelo autor e por outras pessoas em plataformas digitais, não é adequado restringir a responsabilização à esfera individual.

Mesmo que nem todos os envolvidos na criação ou compartilhamento das imagens possam ser identificados, é necessário responsabilizar as empresas de tecnologia que permitem sua produção e lucram com sua disseminação descontrolada.

Combater a violência sexual na internet depende da colaboração das plataformas, contudo essa não parece ser uma de suas prioridades. Atualmente, diversas publicações criminosas circulam livremente, até mesmo nas redes sociais que utilizamos no dia a dia, sem que sejam apresentadas ferramentas eficazes de detecção e moderação, tampouco sejam disponibilizados canais eficientes para a denúncia. 

O SeaArt, por exemplo, ferramenta de criação de imagens e vídeos por inteligência artificial generativa, com milhões de downloads na Google Play e Apple Store, é capaz de simular cenas ultra realistas de pornografia e abuso sexual, envolvendo mulheres e crianças, divulgadas orgulhosamente pelos seus criadores na galeria da plataforma.

Após a publicação de denúncia feita pelo portal Núcleo Jornalismo, o aplicativo foi removido da Google Play e a política de moderação do SeaArt foi alterada para coibir essas práticas, porém boa parte das postagens compartilhadas pelos seus usuários ainda consiste em figuras de mulheres e meninas (crianças e adolescentes), colocadas em posições altamente sexualizadas e objetificantes.

Nesse ponto, é importante frisar que as plataformas não são e não podem agir como meras espectadoras, delegando ao usuário a incumbência de unilateralmente sinalizar materiais produzidos por inteligência artificial ou aguardando passivamente que seja notificada sobre postagens impróprias.

Há muito dinheiro envolvido na circulação indevida dessas imagens, que sequer precisam ser impulsionadas, pois despertam o interesse público naturalmente.

Quanto à responsabilização jurídica das empresas de big tech, pesquisa realizada pela Nexus sobre a visão dos brasileiros a respeito da regulamentação das redes sociais apontou que 78% dos entrevistados concordam que as plataformas digitais precisam ter mais responsabilidade sobre o conteúdo exibido em suas páginas. 

Esse também foi o tema de julgamento recente do Supremo Tribunal Federal, tratando da inconstitucionalidade parcial do texto do artigo 19 da lei 12965/14, o Marco Civil da Internet, que prevê a responsabilização civil dos provedores de aplicações da internet pelos danos causados somente em caso de descumprimento de ordem judicial. 

No que diz respeito à violência sexual, o Marco Civil traz disposição própria, em seu artigo 21, que determina a responsabilidade subsidiária dos provedores em caso de “violação da intimidade decorrente da divulgação, sem autorização de seus participantes, de imagens, de vídeos ou de outros materiais contendo cenas de nudez ou de atos sexuais de caráter privado quando, após o recebimento de notificação pelo participante ou seu representante legal, deixar de promover, de forma diligente, no âmbito e nos limites técnicos do seu serviço, a indisponibilização desse conteúdo”. 

Porém, assim como os outros dispositivos legais aqui apresentados, o artigo não trata especificamente de conteúdos falsos gerados por inteligência artificial, o que pode causar impasse na aplicação. Nesse contexto, a decisão do STF sobre o artigo 19 ganha ainda mais relevância, ao estabelecer parâmetros que ampliam a responsabilização das plataformas pela veiculação de conteúdos ofensivos e criminosos, para além do determinado no artigo 21. 

Segundo o entendimento, com a transformação profunda no modo como a internet é usada, marcada pela popularização de redes sociais, aplicativos de mensagens e outras ferramentas, a norma prevista no artigo 19, criada há mais de uma década, já não garante proteção adequada aos usuários.

Na decisão, o Tribunal definiu as situações em que os provedores estão sujeitos à responsabilização civil caso não removam imediatamente, independente de ordem judicial, publicações que configurem a prática de crimes graves, quais sejam: tentativa de golpe de Estado, abolição do Estado Democrático de Direito, terrorismo, incitação à automutilação ou ao suicídio, racismo, homofobia e crimes contra mulheres e crianças. Em todos os casos, a responsabilização é subjetiva, ou seja, demanda análise de culpa ou dolo da plataforma.

Também foi estabelecido que os provedores devem elaborar um sistema de autorregulação transparente, que contemple o devido processo, e que produza relatórios anuais referentes a notificações extrajudiciais, anúncios e impulsionamentos. As plataformas precisarão oferecer canais de atendimento permanentes e específicos, preferencialmente eletrônicos, que sejam acessíveis e amplamente divulgados. 

A obrigação de autorregulação e de transparência nos processos de denúncia assegura que os provedores adotem mudanças efetivas em suas estruturas e cumpram de fato com seu dever de cuidado, coibindo a publicação de materiais ilícitos e evitando a omissão no enfrentamento da violência, perpetuada enquanto o material permanecer disponível.

Com a regulamentação, o STF confere autonomia à vítima do conteúdo criminoso nos casos especificados, que poderá solicitar a remoção de forma ágil e eficiente, sem precisar recorrer ao judiciário.

A interpretação conforme a Constituição do artigo 19 pelo STF e o estabelecimento de parâmetros objetivos que tratem da responsabilização dos provedores somente se faz necessária em razão da ausência de lei específica que regulamente a matéria de forma satisfatória. O judiciário, sem dúvida, não é a via mais adequada para tais providências, dada sua morosidade característica e sua função primária de aplicação da lei aos casos concretos. 

Um dos casos que motivou a decisão tomada agora, em junho de 2025, diz respeito a um conflito gerado por uma comunidade criada no Orkut, rede social extinta em setembro de 2014, fato que destaca a inadequação. Diante disso, ao fim da decisão, há um apelo aos legisladores para que cumpram seu dever e adaptem o sistema legislativo brasileiro às discussões atuais, medida que vem sendo postergada indefinidamente pelos nossos parlamentares.

Quais são as propostas?

Há múltiplos projetos que versam sobre o uso inadequado de ferramentas de inteligência artificial tramitando no Congresso. Como toda boa lei populista, a maioria apresenta a criminalização desses atos como solução, priorizando a atuação na esfera individual, para um problema de caráter estrutural.

Embora estejamos tratando inequivocamente de atos de violência, o Direito Penal não necessariamente será a única ferramenta ou a mais adequada para regular as situações apontadas.

A criminalização de condutas não nomeadas pelo sistema penal deve sim ser pautada e concretizada, mas é indispensável que não seja abandonado o caráter coletivo da discussão. 

Como envolvem aplicações e plataformas de terceiros e não é possível recolher pessoas jurídicas ao cárcere, esses delitos exigem que o legislador proponha respostas mais criativas e eficazes. Para esses casos, é preciso recorrer à responsabilização civil, conforme determina o julgado do STF e a sanções administrativas, como a aplicação de multas e até mesmo a suspensão de funcionamento no país dos provedores que não atuem efetivamente na prevenção e inibição dessas práticas. 

Ainda que a moderação de conteúdo possa ser entendida por alguns como um tipo de censura, é preciso ponderar quais direitos humanos estão sendo descobertos em detrimento de uma liberdade de expressão idealizada e irrestrita. Estamos falando de crimes que ferem a dignidade, a autonomia sobre o uso da própria imagem e até mesmo a liberdade de ir e vir. É preciso ter razoabilidade.

Sendo a imagem real ou não, o dano persiste e o tempo de permanência nas plataformas é fator decisivo na dimensão desse dano. É inadmissível que o sistema de “combate” que nos é oferecido seja o de pagar para ver, de esperar que o crime aconteça, que a mácula se amplifique e que, somente depois de ordem judicial, alguma providência seja tomada.

O trabalho de prevenção não pode ser negligenciado em favor dos lucros exorbitantes das grandes empresas de tecnologia; a atuação efetiva no enfrentamento da violência também não.

É nítido que a tecnologia vem avançando numa velocidade que nosso sistema social não tem sido capaz de acompanhar e que isso causa uma série de problemas, mas mais que determinar se a inteligência artificial é boa ou ruim, é preciso lembrar que ela é apenas uma ferramenta. Os problemas residem no uso que é feito delas e quais os interesses envolvidos nesse uso. Quem vai dizer se a ferramenta vai gerar a Marisa Maiô ou deepnudes de adolescentes é o usuário. 

Por isso, se há pessoas lançando mão de tecnologias para violar direitos e prejudicar outras pessoas, a responsabilização deve ser a consequência natural. Mas prevenir sempre será o melhor remédio e isso é papel de quem cria, viabiliza e lucra com essas tecnologias. A regulamentação não precisa ser sinônimo de cerceamento da liberdade, mas não há de haver liberdade sem que haja também responsabilidade.