"Pornografia infantil gerada por IA se espalha no Instagram", 2 de abril de 2025

Pelo menos uma dúzia de contas no Instagram, com centenas de milhares de seguidores, estavam compartilhando abertamente imagens geradas por IA de crianças e adolescentes em poses sexualizadas, um comportamento proibido que os sistemas de segurança da Meta não conseguiram detectar. Em janeiro de 2025, o CEO da Meta, Mark Zuckerberg, anunciou que a empresa relaxaria algumas de suas políticas de moderação de conteúdo nos Estados Unidos, citando "muitos erros e censura excessiva"... O Nucleo iniciou uma investigação em parceria com a Rede de Responsabilidade de IA do Pulitzer Center para avaliar a disseminação de material ilegal envolvendo crianças e adolescentes, e conseguiu identificar 14 perfis no Instagram que estavam postando imagens perturbadoras geradas por IA de menores.

Todas essas contas seguiam o mesmo padrão visual: personagens loiras, com corpos voluptuosos e seios grandes, olhos azuis e rostos infantis... Cada conta analisada pela investigação tinha o mesmo tema visual, incluindo a cor dos olhos, tom de pele, cabelo e características faciais semelhantes a de crianças. Essas figuras eram retratadas em vários contextos sexualizados: de biquíni, lingerie ou vestidos decotados. Mas essas não eram "modelos adultas", mas sim representações de adolescentes e até mesmo crianças... Embora a investigação do Nucleo tenha revelado o problema, a Meta não detectou essas contas até ser contatada pelo veículo de notícias.

Em fevereiro de 2025, o Reino Unido aprovou uma lei que proíbe a criação e a disseminação de material de abuso sexual infantil gerado por IA (CSAM). A lei também proíbe o desenvolvimento de guias ou instruções para a criação desse tipo de conteúdo. Dan Sexton, diretor de tecnologia da Internet Watch Foundation, enfatizou a gravidade do CSAM gerado por IA, afirmando que "essas imagens, como as imagens reais de abuso sexual infantil, podem normalizar e aprofundar o abuso infantil". A Meta removeu as contas identificadas pelo Nucleo após a intervenção, mas o incidente destacou as limitações significativas das tecnologias atuais de moderação de conteúdo, especialmente na detecção de material de exploração gerado por IA... Especialistas estão pedindo por novos métodos, incluindo o reconhecimento facial, para lidar com essas lacunas de maneira mais eficaz...