Seedance 2.0 : ce nouveau générateur de vidéos par IA est spectaculaire

ByteDance commence à déployer Seedance 2.0, son nouveau générateur de vidéo qui bluffe par son réalisme et ses prouesses techniques. De quoi faire trembler OpenAI, Google et Meta ! Reste la question des droits d'auteur…

La course à l'intelligence artificielle qui se joue entre OpenAI et les géants de la tech s'intensifie ! Après que tout le monde a déployé son chatbot et inséré son IA dans le plus de services possibles, le nouveau cheval de bataille n'est autre que la génération de vidéos. Sur ce point, l'entreprise de Sam Altman a placé la barre haut avec Sora, son générateur de vidéos accompagné d'une plateforme sociale pensée comme un rival de TikTok – à une différence près : elle est alimentée exclusivement par des clips produits par son propre modèle d'IA (voir notre article).

De son côté, Google a répondu avec Veo 3, tandis qu'Elon Musk a lancé Grok Imagine et se prépare à accueillir un flux dédié aux vidéos IA avec Vine. Quant à Meta, il a choisi de riposter avec Vibes, son flux de vidéos générées par IA via l'appli Meta AI. Mais un nouveau venu entre dans la danse, puisque ByteDance, la société chinoise propriétaire de TikTok, a dévoilé Seedance 2.0, un nouveau modèle axé sur le réalisme pouvant créer des scènes complexes.

Seedance 2.0 : des scènes plus complexes

Seedance 2.0 est un modèle génératif au fonctionnement assez singulier. Contrairement à des systèmes qui ne produisent que de courts clips muets ou avec transitions simples, Seedance 2.0 peut combiner texte, images, vidéos et audio d'un seul coup, pour produire des séquences cohérentes. L'outil peut combiner des instructions en langage naturel avec d'autres types d'entrées multimodales, ce qui permet à l'utilisateur de guider très finement la création de scènes complexes en fournissant, par exemple, des images de référence, des extraits audio ou de la musique, voire des storyboards textuels.

ByteDance assure avoir franchi un "bond substantiel en qualité de génération", avec d'importantes améliorations dans la création de scènes complexes intégrant plusieurs personnes et une meilleure capacité à interpréter les instructions. Autre avantage : plutôt que d'ajouter du son en post-production, le modèle va générer l'image en mouvement et le son au même moment, ce qui permet d'obtenir une meilleure synchronisation labiale. Seedance peut générer des clips vidéo avec audio d'une durée maximale de 15 secondes.

Seedance 2.0 : une violation flagrante des droits d'auteur

Sur les réseaux sociaux, de nombreux internautes ont déjà partagé leurs propres vidéos, et il faut avouer que le résultat est impressionnant, que ce soit dans les expressions faciales ou la complexité des chorégraphies d'action – même s'il y a encore une légère sensation d'étrangeté au visionnage et quelques petits couacs. Mais ces démonstrations ont soulevé un problème majeur, à savoir que Seedance 2.0 a très certainement été entraîné sur des contenus soumis à des droits d'auteur. Un utilisateur a ainsi pu créer une scène en reprenant l'ensemble de l'univers visuel de la série Arcane, tandis que d'autres vidéos mettent en scène Brad Pitt et Tom Cruise en pleine bagarre sur un toit, ou alors un combat entre Batman et John Wick – le match est serré !

Autant dire que l'industrie du cinéma et du divertissement n'a pas vraiment apprécié, particulièrement aux États-Unis. La Motion Picture Association (MPA), qui représente de grands studios hollywoodiens, a accusé ByteDance de provoquer des violations massives du droit d'auteur en permettant à des utilisateurs de générer des vidéos qui reprennent l'apparence et les performances de stars ou de franchises protégées, et ce sans aucune autorisation. L'association demande à ByteDance de cesser ces pratiques.

Cette offensive fait écho à des critiques similaires déjà adressées à d'autres systèmes d'IA générative comme Sora 2 au moment de sa sortie. OpenAI avait alors dû implanter des garde-fous et signer des accords de licence avec des détenteurs de droits pour apaiser les studios.

Seedance 2.0 est en train d'être déployé un peu partout dans le monde, avec des restrictions – mais ce n'est pas un déploiement généralisé. Il est notamment disponible sur les plateformes officielles de ByteDance telles que Jimeng/Dreamina, avec des restrictions géographiques et plusieurs conditions d'inscription. L'entreprise a également annoncé un déploiement à venir dans CapCut, son application de montage vidéo et d'édition.