X suspend enfin la fonction pour déshabiller les femmes avec Grok… ou presque !

Pour enrayer la polémique autour des deepfakes sexuels générés par Grok, X bloque enfin la fonction de génération d'images dénudées de personnes réelles. Enfin, en théorie, car il est facile de contourner ces restrictions…

Depuis quelques temps, le réseau social X et son IA Grok sont au cœur d'un énième scandale : des individus malveillants exploitent l'IA pour dénuder virtuellement les femmes qui postent des photos d'elles sur les réseaux sociaux, sans leur accord bien évidemment. Ce phénomène de dénudement n'est pas nouveau et avait déjà été pointé du doigt en mai dernier (voir notre article), mais il a connu un regain de popularité plus que problématique au cours de ces dernières semaines. Pire, ces déshabillages concernent également des mineurs, ce qui a poussé la France à ouvrir une enquête, de même que d'autres pays.

Face à cette polémique, Elon Musk avait décidé, le 6 janvier dernier, de rendre la fonction payante. Sollicité par des utilisateurs sur X, Grok avait indiqué que "la génération et l'édition d'images sont actuellement réservées aux abonnés payants. Vous pouvez vous abonner pour débloquer ces fonctionnalités". Finalement, le milliardaire a bel et bien été obligé de bloquer totalement cette possibilité en appliquant un géoblocage dans les pays où ces pratiques sont illégales, comme il l'annonce dans un article publié sur X, car la grogne était loin de s'apaiser – l'Indonésie et la Malaisie ont purement et simplement bloqué Grok en réponse à la polémique, tandis que le procureur général de Californie, Rob Bonta, a ouvert une investigation contre l'entreprise pour sa "production à grande échelle d'images intimes deepfake non consenties".

Alors, problème résolu ? Pas vraiment si on en croit nos confrères de The Verge, qui assurent qu'avec des prompts un peu plus complexes, les femmes peuvent toujours être dénudées, y compris avec des comptes gratuits. Et, compte tenu de la rapidité à laquelle les internautes s'échangent leurs astuces pour contourner les garde-fous, ils ne doivent pas être les seuls !

Contenus pédopornographiques sur X : Grok part en roue libre

Pour déshabiller les femmes sans consentement, les petits rigolos ont utilisé Grok, le chatbot dopé à l'IA créé par Elon Musk et accessible sur le réseau social X. Il suffisait de lui soumettre la photo de la personne en question et de lui demander de la mettre en sous-vêtements ou en bikini – et on ne parle pas de brassières en coton. Et c'était loin d'être un phénomène de niche ! Il suffisait de faire une rapide recherche sur le réseau social pour constater l'abondance de la pratique.

Les chercheurs de l'ONG européenne AI Forensics ont tenté de quantifier le phénomène, en analysant 20 000 images générées par Grok entre le 25 décembre et le 1^er janvier, comme le rapporte Le Monde. Il en ressort que plus de la moitié d'entre elles (53 %) représentaient des personnes légèrement vêtues, dont 81 % de femmes. Certaines images – une minorité fort heureusement – représentaient même des enfants de moins de 5 ans.

Après plusieurs jours de signalements d'utilisateurs, le compte officiel de Grok sur X avait finalement admis des dysfonctionnements dans ses systèmes de sécurité. "Nous avons identifié des failles dans nos garde-fous et nous les corrigeons de toute urgence – la pédopornographie est illégale et interdite", avait-il indiqué à un internaute.

Contenus pédopornographiques sur X : une solution qui n'en est pas une

Bien entendu, les réactions outrées n'avaient pas tardé à pleuvoir à l'international, jusqu'au sein du gouvernement français. Le parquet de Paris, via sa section de lutte contre la cybercriminalité (J3), avait ainsi annoncé il y a quelques jours l'élargissement d'une enquête ouverte cet été sur le réseau social X, y ajoutant la génération et la diffusion d'images pédopornographiques. "Le délit de montage à caractère sexuel d'une personne sans son consentement est puni de deux ans d'emprisonnement et de 60 000 euros d'amende", avait-il rappelé. Le Gouvernement avait également effectué un signalement auprès de la plateforme Pharos, et l'Arcom avait été saisie.

De son côté, la Commission européenne avait annoncé jeudi avoir imposé à X une mesure conservatoire. Elle avait pris une "ordonnance de conservation", une mesure juridique qui impose à X de conserver tous ses documents internes relatifs à Grok, et ce jusqu'à la fin 2026.

Elon Musk avait donc essayé de calmer le jeu en rendant la fonction payante – ou comment monétiser la détresse des femmes.. Autant dire que cela n'a pas du tout fonctionné. Cette "solution" a été qualifiée d'"insultante pour les victimes" par un porte-parole du Premier ministre britannique. Cette mesure "transforme simplement une fonction qui permet la création d'images illégales en un service premium", et constitue "une insulte aux victimes de misogynie et de violences sexuelles", a-t-il estimé, avant d'appeler le milliardaire à trouver une vraie solution de toute urgence. C'est désormais chose faite... en théorie !