FRAN : l'IA de Disney qui vieillit ou rajeunit les acteurs

Disney a développé FRAN, une intelligence artificielle capable de rajeunir ou de vieillir les acteurs en quelques clics. Une véritable révolution dans le monde du cinéma, qui va permettre de gagner un temps précieux en post-production

Il est loin le temps où il fallait avoir recours à une tonne de maquillage pour rajeunir ou vieillir un acteur selon les besoins du scénario ! Les effets spéciaux numériques pour changer l'âge des acteurs ou des actrices qui ont pris la relève il y a quelques années sont de plus en plus utilisés dans les films et les séries TV – même s'il y a parfois quelques petits ratés. Disney est particulièrement connu dans le domaine du rajeunissement numérique grâce à Industrial Light & Magic (ILM), sa filiale dédiée aux effets spéciaux de cinéma – qui appartenait auparavant à George Lucas. Il suffit de voir la brève apparition de Luke Skywalker dans The Mandalorian, ou encore celle de la princesse Leia dans Rogue One. Les résultats sont vraiment bluffants ! Le problème, c'est que ces manipulations demandent généralement un grand nombre d'heures de travail pour de courtes séquences, que ce soit pour retoucher des images – pour supprimer des rides par exemple – ou créer de toutes pièces un nouveau visage en 3D. Mais ce délicat travail à la fois numérique et manuel pourrait bientôt sensiblement allégé.

En effet, pour enrichir son catalogue – et augmenter ses revenus –, Disney compte étendre les univers de ses sagas phares – les franchises ou licences, dans le jargon –, ce qui va logiquement multiplier les allers-retours chronologiques. C'est pourquoi l'entreprise s'est penchée sur la question du vieillissement et du rajeunissement artificiels afin d'obtenir un résultat à la fois plus réaliste et moins chronophage – d'autant que les artistes sont généralement surchargés de travail. Et la solution est venue, une fois de plus, de l'intelligence artificielle (IA).

FRAN : une modification de l'âge directement lors de la prise de vue

Habituellement, le vieillissement ou le rajeunissement du visage d'une personne – le re-aging, chez les spécialistes – est effectué en post-production, par le biais d'un montage numérique de l'image, par l'utilisation d'images générées par ordinateur (CGI) ou par des retouches. Chez Disney, le personnel chargé des effets spéciaux a souvent recours à un processus de numérisation et de modélisation 3D ou une retouche numérique 2D image par image du visage de l'acteur. Un travail extrêmement long et fastidieux... Mais le nouveau système de la firme, baptisé FRAN (Facial Re-aging Network), automatise le processus et permet d'effectuer les changements nécessaires dès la prise de vue.

Pour créer FRAN, les chercheurs de Disney ont créé une immense base de données contenant des milliers de visages, âgés d'entre 18 et 85 ans, générés aléatoirement – ce sont donc des visages synthétiques. Ensuite, grâce au machine learning, le réseau neuronal s'est entraîné à rajeunir ou vieillir les différentes images numériques afin de comprendre comment l'apparence d'une personne change avec l'âge. Il peut ensuite appliquer ces principes de vieillissement à un acteur réel en mouvement, image par image – la génération de chaque image de la vidéo prend d'ailleurs moins de cinq secondes. Pour le dire plus simplement, il "prédit" à quoi ressemble le visage à cet âge. Une façon de le transformer sans trahir ses expressions ni sa personnalité – jusqu'ici, l'utilisation de réseaux neuronaux et de l'apprentissage automatique pour faire vieillir une personne a déjà été testée mais, si les résultats sont assez convaincants sur des images fixes, ils n'ont jamais été très probants sur des vidéos.

FRAN : une révolution prête à l'emploi dans le monde du cinéma

Les chercheurs expliquent que FRAN n'exige pas une phase d'alignement précis du visage pour fonctionner et ne génère pas d'artefacts – des sortes de lignes ou de blocs de pixels qui polluent l'affichage – lors du vieillissement ou du rajeunissement, contrairement à d'autres technologies. L'IA peut facilement ajouter des rides sur le visage ou les supprimer, modifier la taille des joues, retirer la pilosité faciale, etc. Et lorsque la tête bouge et n'est pas directement en face de la caméra, les modifications restent, y compris quand l'éclairage n'est pas optimal. Ensuite, il ne reste plus aux artistes qu'à corriger les détails en post-production. Précisons toutefois que FRAN, aussi révolutionnaire soit l'IA, a des limites. Elle ne peut notamment pas agir sur le grisonnement du cuir chevelu pour faire vieillir un acteur. Elle ne peut pas non plus faire vieillir une personne de très jeune âge, c'est-à-dire transformer un enfant en un octogénaire. Dans ce cas, il faudra prendre deux acteurs différents.

Toujours est-il que FRAN constitue une véritable révolution dans le monde du cinéma. Disney a déjà annoncé que l'IA est prête à l'emploi et a été conçue pour être facilement manipulée par des artistes – y compris ceux ne disposant pas de budget faramineux –, qui peuvent changer l'âge de départ et l'âge d'arrivée du rendu. Il ne fait pas de doute que la firme aux grandes oreilles utilisera son nouvel outil dans ses prochains films et séries : elle n'a d'ailleurs pas du s'en priver pour le cinquième épisode de la saga Indiana Jones, prévu pour le 28 juin 2023, dans lequel Harrison Ford – aujourd'hui âgé de 80 ans ! – incarnera une ultime fois le célèbre aventurier-archéologue… plus jeune !