Hibiki : l'IA qui traduit le français en anglais en temps réel

La start-up française Kyutai vient de dévoiler Hibiki, une IA capable de traduire en direct des conversations orales du français vers l'anglais, comme un interprète. Un outil encore en développement, mais très prometteur.
Alors que Paris accueille le premier sommet dédié à l'intelligence artificielle, les annonces se multiplient, notamment de la part d'entreprises françaises. Ainsi, après l'arrivée de la version mobile de Le Chat, le robot conversationnel de Mistral AI, sur iOS et Android, un laboratoire de recherche en IA vient de dévoiler un modèle expérimental de traduction en temps réel.
Baptisé Hibiki ("écho" en japonais), cet outil permet de traduire les propos d'une personne en temps réel du français vers l'anglais, à la manière d'un interprète humain. Il est développé par Kyuta, un labo français créé par Xavier Niel, propriétaire du groupe Iliad et fondateur de Free, Rodolphe Saadé, PDG du transporteur maritime CMA CGM, et Eric Schmidt, ex-patron de Google.
Hibiki : comme un interprète humain
Dans une vidéo de démonstration, on voit comment Hibiki assure la traduction français-anglais. L'extrait met en scène un interlocuteur français qui explique le fonctionnement de l'IA et l'outil traduit en simultanée les propos dans la langue de Shakespeare. Le traduction se fait avec quelques secondes de décalage à la manière d'une traduction lors d'une interview ou d'une conférence de presse par exemple.
Meet Hibiki, our simultaneous speech-to-speech translation model, currently supporting .
— kyutai (@kyutai_labs) February 6, 2025
Hibiki produces spoken and text translations of the input speech in real-time, while preserving the speakers voice and optimally adapting its pace based on the semantic content of the pic.twitter.com/JOmCcC5vji
Comme le précise le communiqué du laboratoire : "Hibiki permet la traduction simultanée tout en préservant la voix du locuteur et en adaptant de manière optimale son rythme au contenu sémantique du discours source. Hibiki produit ainsi en temps réel une traduction orale, ainsi qu'écrite, dans la langue cible".
Au vu de la démonstration, la technologie semble déjà bien avancée alors qu'elle est encore qu'en phase de développement. C'est pourquoi, le modèle d'Hibiki est disponible en open-source. Son code est donc rendu accessible au public, afin que des chercheurs s'en saisissent et apportent leurs modifications, De plus, dans sa version actuelle, l'outil est utilisable sur un téléphone sans avoir besoin de connexion à Internet.
Par ailleurs, le directeur de la modélisation chez Kyuta souligne que la technologie a été entraînée pour ne pas dire n'importe quoi : "Vous ne pouvez pas le contrôler par du texte pour lui faire raconter ce que vous voulez". Enfin, il assure vouloir faire de son innovation "un modèle qui puisse être utilisé lorsqu'on voyage ou lors de visioconférences ou encore en cas de streaming". Et il précise que Hibiki est d'ores et déjà capable de fournir des sous-titres en direct.