Face aux folles dérives de Sora 2, OpenAI tente de poser des limites

Sora 2, l'outil de génération vidéo d'OpenAI, a enflammé la Toile et réveillé la "créativité" des internautes. Entre détournements d'œuvres, parodies de mauvais goût et obscénités, l'entreprise tente de garder le contrôle.

Début octobre, OpenAI secouait une fois de plus le monde de l'intelligence artificielle avec Sora 2, son nouveau générateur vidéo associé à un réseau social éponyme destiné à concurrencer TikTok. Et le moins que l'on puisse dire, c'est que les résultats sont vraiment saisissants ! L'IA prend maintenant en charge la génération de sons, profite d'une meilleure compréhension de la physique et peut créer des "caméos" – qui sont ni plus ni moins que des deepfakes (voir notre article). Avec cette fonction, elle franchit une dangereuse limite et, sans surprise, les choses n'ont pas tardé à déraper, obligeant OpenAI à appliquer des restrictions.

Sora 2 : quand les internautes font n'importe quoi

De nombreux internautes en ont immédiatement profité pour créer des montagnes de vidéos humoristiques et pour pousser le générateur de vidéos à ses limites, notamment en faisant étalage de sa gestion de la physique et de sa capacité à gérer de nombreux éléments. Mais il n'a pas fallu longtemps pour constater les premiers contenus hautement problématiques, qui illustrent bien les dérives de cette technologie.

Bien entendu, les internautes se sont rapidement mis à détourner de célèbres personnages de la culture populaire. Bob l'Eponge s'est ainsi retrouvé à fabriquer de la méthamphétamine dans un labo au fond de l'océan, Mario a été arrêté par la police… Des épisodes de South Park ont même été générés à la chaîne. Autant dire que cela n'a pas vraiment plu aux ayants-droit. OpenAI a beau affirmer le problème, la vérité est que l'entreprise s'est mis Hollywood à dos. En effet, la Motion Picture Association of America (MPA) a fustigé la politique d'OpenAI avec Sora 2 dans un communiqué et a appelé à une intervention urgente contre le nouveau modèle de génération vidéo Sora 2.

Grâce à la fonction caméo, les utilisateurs de Sora 2 n'ont pas tardé à détourner des personnalités publiques. Sam Altman en a particulièrement fait les frais. Il a ainsi été vu en train de servir à boire à Eric Cartman, de rapper dans une cuvette de toilettes, ou encore de griller un Pikachu plus vrai que nature au barbecue en s'exclamant "J'espère que Nintendo ne va pas nous poursuivre en justice". Et encore, là cela reste gentillet, mais ce n'est pas le cas de tous les contenus générés !

Comme l'a révélé Futurism, de nombreuses personnes n'ont absolument pas respecté feu Stephen Hawking, le célèbre physicien et cosmologiste atteint de la maladie de Charcot disparu en 2018. Il a été représenté dans des scènes particulièrement violentes et humiliantes : attaqué par un crocodile, piétiné par un taureau, frappé dans un combat de catch…

Plusieurs médias rapportent également des témoignages de victimes, dont les harceleurs se sont servis de l'IA pour générer des tonnes de deepfakes à leur encontre, y compris à caractère pornographique… Avec Sora 2, le Web s'est transformé en une véritable décharge à ciel ouvert, où on trouve absolument de tout, du fantastique comme du franchement dégoûtant.

Dérives de Sora 2 : OpenAI tente de corriger le tir

Face à ces utilisations plus que subversives, OpenAI n'a pas tardé à réagir. "Nous apprenons rapidement de la manière dont les gens utilisent Sora, et nous recueillons les retours des utilisateurs, des ayants droit et d'autres groupes intéressés", écrit ainsi Sam Altman dans un billet de blog. Il affirme que l'entreprise a depuis renforcé ses garde-fous en bloquant plusieurs types de requêtes et en améliorant les filtres censés fermer la porte à ce type de production. Cela ne l'empêche toutefois pas d'avouer que "certains contenus passeront encore à travers." Traduction : on ne maîtrise absolument rien, mais on verra bien ce qu'il en sort.

Face à la colère des ayants-droit, OpenAI a également revu sa politique d'autorisation. Initialement, c'était à ces derniers de contacter l'entreprise afin de lui signifier qu'ils refusaient l'utilisation de personnages dont ils détiennent les droits dans la génération de vidéos. Une façon de se décharger de toute responsabilité qui n'a pas du tout plu, ce qui a forcé la firme de Sam Altman à changer son fusil d'épaule.

Désormais, la création de contenus mettant en scène un personnage protégé par le droit d'auteur est bloquée par défaut, et c'est aux ayants-droit de contacter OpenAI pour lui donner leur autorisation de l'utiliser. Les propriétaires de licences comme Disney ou Nintendo vont donc bientôt pouvoir choisir si leurs personnages, comme Mickey et Mario, peuvent être générés par l'IA de Sora 2, et dans quelles conditions. En attendant, si quelqu'un tape la requête "Superman en train de danser la valse avec Wonder Woman", Sora répondra que "Ce contenu peut enfreindre nos garde-fous concernant la similarité avec le contenu tiers" et ne générera rien, jusqu'à ce que DC donne son accord.

Sam Altman a prévenu : "Attendez-vous à un rythme de changement très élevé de notre part." Ce qui soulève une question : pourquoi OpenAI s'obstine-t-il à lancer de tels outils sans en prévoir les conséquences et sans poser de véritables gardes-fous – si ce n'est pour gonfler la valorisation de son entreprise ? Après tout, ce n'est pas comme si c'était la première fois qu'une IA génératrice était mise à disposition du grand public. OpenAI devait bien se douter que, comme pour ChatGPT, Gemini, Midjourney ou encore Voice Engine, leur outil allait vite être détourné !

Alors pourquoi s'obstine-t-elle à faire les mêmes erreurs ? Car, même si elle corrige (plus ou moins) les problèmes par la suite, le mal est fait… Et, d'ailleurs, est-il pertinent et raisonnable de mettre une telle technologie entre toutes les mains ? Quelles sont la valeur et l'utilité des vidéos postées sur Sora quand elles ont un tel coût, à la fois financier, environnemental et éthique ? Le progrès oui, mais à quel prix ?