L'IA de Meta fait du doublage audio sur les vidéos Facebook et Instagram
Meta déploie Meta AI Translations, un outil qui traduit et double automatiquement les vidéos postées sur Facebook et Instagram, en utilisant la voix du créateur. Mieux encore, elle adapte la synchronisation labiale pour un résultat plus naturel.
Impossible de passer à côté : Meta met de l'IA à toutes les sauces absolument partout dans ses services (Facebook, Instagram, WhatsApp...) ! Que ce soit par le biais de son chatbot Meta AI, chargé de vous assister, de différentes fonctions de retouche photo, ou encore pour résumer les conversations, l'intelligence artificielle est désormais cachée dans les moindres recoins. Cette fois, l'entreprise s'attaque au doublage des vidéos postées sur ses réseaux sociaux. Dans un billet de blog, elle dévoile une IA capable de traduire et de doubler automatiquement les vidéos publiées sur Facebook et Instagram. Plus bluffant encore, la synchronisation labiale fait en sorte que le doublage soit réaliste et paraisse naturel, comme s'il avait été enregistré directement dans la langue cible.
Meta AI Translations : une fonction encore limitée pour l'instant
Avant la mise en ligne d'une vidéo, Meta AI Translations génère une version doublée en utilisant la voix du créateur, adaptée à la langue sélectionnée. L'auteur peut ensuite examiner le rendu et choisir de publier la version traduite ou de conserver uniquement l'originale. Quant aux spectateurs, ils ont la possibilité de regarder la vidéo doublée ou de rester sur la version d'origine.
Cet outil reste toutefois limité : il ne fonctionne qu'avec des vidéos face caméra et tolère au maximum deux intervenants. Pour en améliorer l'efficacité, Meta recommande également d'éviter les voix qui se chevauchent, de réduire les bruits de fond et de garder la bouche bien visible afin d'optimiser la synchronisation labiale.
Pour l'instant, la fonction est accessible uniquement pour les comptes Facebook ayant plus de 1 000 abonnés et pour tous les comptes publics sur Instagram, et ne prend en charge que les doublages entre l'anglais et l'espagnol. D'autres langues rejoindront toutefois cette liste par la suite.
Tout le monde est gagnant dans cette histoire : les créateurs de contenu peuvent toucher une audience supplémentaire, tandis que les utilisateurs ont accès à un plus large choix de vidéos, ce qui va les inciter à passer plus de temps sur les réseaux sociaux de Meta. Mark Zuckerberg a d'ailleurs souligné, lors de la présentation des derniers résultats financiers, que le temps passé sur Facebook avait progressé de 5 %, et celui sur Instagram de 6 %. Pas étonnant que l'entreprise mise autant sur l'IA pour augmenter l'engagement sur ses plateformes !