Emu Edit et Emu Video : des outils IA pour l'image et la vidéo dans Facebook et Instagram

Meta continue d'incorporer de l'IA à ses services avec Emu Edit et Emu Video, deux outils permettant d'éditer des images et de générer des clips vidéo à l'aide de descriptions textuelles Facebook et Instagram.

Meta, comme tout bon géant de la tech qui se respecte, s'est lui aussi lancé dans la course à l'IA avec LLaMA (Large Language Model Meta AI), un modèle de traitement du langage concurrent du GPT-4 d'OpenAi et du PaLM de Google, mais aussi CM3leon, un générateur d'images concurrent à DALL-E et Midjourney, ou encore ses outils AudioGen et MusicGen. Autant d'innovations technologiques que le groupe compte incorporer dans tous ces services, que ce soit pour la publicité, pour générer des stickers dans WhatsApp ou pour introduire un assistant conversationnel dans notre messagerie instantanée préférée ou sur ses réseaux sociaux ! Et il ne compte pas s'arrêter en si bon chemin ! Aussi, Meta vient de dévoiler dans un billet de blog deux nouveaux outils d'édition basés sur l'intelligence artificielle pour Facebook et Instagram : Emu Edit et Emu Video. Basés sur Emu (Expressive Media Universe), le modèle de l'entreprise pour la génération d'images présenté en septembre dernier, ils permettront aux utilisateurs de modifier leurs photos et de produire de courtes vidéos à partir de simples descriptions textuelles.

Emu Edit et Emu Video : l'IA s'invite dans Facebook et Instagram

Emu Edit fonctionne comme n'importe quel éditeur d'images dopé à l'IA : il suffit d'écrire sa demande – "remplace l'arrière-plan par les buildings d'une ville" par exemple, ou "ajoute des lunettes au verre" – pour que l'intelligence artificielle s'exécute. La vidéo de démonstration ressemble aux outils proposés par Adobe (Firefly) et Canva, permettant aux utilisateurs de supprimer ou de remplacer des objets et des personnes sur des photographies sans avoir d'expérience professionnelle en matière d'édition d'images. Cependant, la particularité de l'outil de Meta réside dans le fait qu'il fonctionne uniquement à partir d'un prompt. L'utilisateur n'a pas besoin de sélectionner manuellement la partie de l'image qu'il souhaite modifier. Ainsi, il suffit d'écrire "transforme le chien en panda" pour qu'Emu Edit identifie le chien dans l'image. Meta précise également que l'outil s'efforcera de n'apporter que des modifications pertinentes par rapport à la demande d'édition – lui demander d'ajouter du texte à une casquette de base-ball ne changera rien d'autre au design de ladite casquette. Avec Emu Edit, Meta déclare vouloir proposer "une nouvelle approche qui vise à rationaliser diverses tâches de manipulation d'images et à apporter des capacités et une précision améliorées à l'édition d'images". Pour cela, l'entreprise a mis au point Segment Anything Model (SAM), un outil capable d'identifier distinctement les différents éléments composant une image. C'est le même outil qui permet de créer ses autocollants personnalisés sur Instagram (voir notre article).

Le deuxième outil, baptisé Emu Video, permet quant à lui de générer de courtes vidéos – on est même plus proche du GIF que de la vidéo – à partir de commandes textuelles, d'images, ou bien des deux à la fois. Si le rendu est pour le moment assez peu réaliste, le résultat est cependant bien plus convaincant qu'avec Make-A-Video, l'IA de Meta dévoilée en 2022. Pour cela, Meta a fait en sorte que la génération d'images soit conditionnée par une demande textuelle, puis que la génération de vidéos soit conditionnée à la fois par le texte et l'image générée.

L'entreprise rêve déjà des possibilités offertes par de tels outils dans ses réseaux sociaux. "Imaginez que vous puissiez créer à la volée vos propres autocollants animés ou GIF intelligents pour les envoyer dans le chat du groupe, plutôt que de devoir chercher le média parfait pour votre réponse. Vous pouvez aussi éditer vos propres photos et images sans avoir besoin de compétences techniques. Ou ajouter un peu de dynamisme à vos posts Instagram en animant des photos statiques. Ou générer quelque chose d'entièrement nouveau", s'enthousiasme-t-elle. Cependant, aucune date d'intégration d'Emu Edit et d'Emu Video dans Instagram et Facebook n'a encore été dévoilée.