GPT-4 : que promet le futur moteur IA surpuissant de ChatGPT ?

GPT-4 : que promet le futur moteur IA surpuissant de ChatGPT ?

Avec le succès de ChatGPT, tous les yeux se tournent vers GPT-3, le modèle de langage de l'IA, et plus particulièrement sur sa prochaine version, GPT-4, qui promet d'être encore plus performant. Au point de faire fantasmer...

L'intelligence artificielle ChatGPT continue d'impressionner Internet par sa capacité à répondre aux questions de façon exhaustive et naturelle et à résoudre de nombreux problèmes (code, programmation, dissertation, article, etc.). Tout le monde – y compris Comment ça marche – ne parle plus que de ça et ne peut s'empêcher de tester l'IA afin de déterminer ses limites, ses champs d'action et ses dérives possibles. Face aux nouveaux horizons qu'elle ouvre, certains se prennent même à imaginer ce qu'elle pourrait donner à l'avenir. En effet, ChatGPT, de même que le générateur d'images DALL-E, est basé sur GPT-3, le modèle de langage derrière l'IA révolutionnaire – dont Microsoft possède d'ailleurs une licence exclusive. Celui-ci repose sur le deep learning, une technologie qui imite le système neuronal humain grâce à des algorithmes. De nombreuses rumeurs circulent actuellement sur le futur GPT-4, en affirmant qu'il devrait être déployé dans le courant de l'année 2023 et comporter pas moins de 100 billions de paramètres – là où GPT-3 n'en disposerait "que" de 175 milliards. Alors, que peut-on attendre réellement de GPT-4 ?

GPT-4 : un moteur avec 100 billions de paramètres, vraiment ?

Pour reprendre depuis le début, GPT est l'acronyme de Generative Pre-trained Transformer ("transformateur préformé génératif" en français) et désigne un modèle de réseau neuronal d'apprentissage profond qui est entraîné sur des données disponibles sur Internet afin de créer de grands volumes de texte généré par la machine. GPT-3 est la troisième génération de cette technologie et constitue l'un des modèles de génération de texte d'IA les plus avancés à ce jour. Àleurs débuts, GPT-1 puis GPT-2 comptaient 1,5 milliard de paramètres, paramètres qui définissent le processus d'apprentissage de l'IA et structurent les résultats qu'elle obtient. Le nombre de paramètres d'un modèle d'IA est généralement utilisé comme une mesure de la performance : plus il y a de paramètres, plus le modèle est puissant, fluide et prévisible – nous y reviendrons. GPT-3 a été un véritable bond en avant à ce niveau, puisqu'il est passé à 175 milliards de paramètres. Mais qu'en sera-t-il pour GPT-4 ?

Dans un entretien d'août 2021 avec Wired, Andrew Feldman, fondateur et PDG de Cerebras, une entreprise partenaire d'OpenAI, a déclaré que GPT-4 comprendrait environ 100 billions de paramètres – soit 100 millions de millions, et non 100 trillions, comme on peut le voir dans certains articles, car le mot anglais "trillion" est un faux-ami. Forcément, un tel bond en avant a de quoi enthousiasmer ! L'information est ressortie sur Twitter et dans les médias, notamment par le biais de graphiques. Or, il ne s'agit là que de rumeurs, et elles ne vont pas forcément dans le sens des déclarations de l'entreprise. Si on demande à ChatGPT lui-même – dont les connaissances s'arrêtent à juin 2021 –, la quatrième version du modèle de langage ne comporterait également que 175 milliards de paramètres. Quant à Sam Altma, le cofondateur d'OpenAI – l'entreprise qui a développé l'IA –, il a déclaré que GPT-4 pourrait ne pas comporter beaucoup plus de paramètres que GPT-3. Et ce n'est pas grave, car le nombre de paramètres ne fait pas tout : l'architecture, la quantité et la qualité des données jouent également un rôle majeur. On peut également s'attendre à de meilleurs algorithmes et à un réglage plus précis.

GPT-4 : une technologie prometteuse qui nécessite encore du travail

D'autres rumeurs mentionnent une sortie de GPT-4 dans le courant de l'année 2023. Or, au risque de décevoir, il ne devrait pas être prêt avant plusieurs années. En effet, lors d'un événement consacré au capital-risque qui s'est déroulé le 13 janvier 2023, Sam Altman, l'un des fondateurs et PDG d'OpenAI, a évoqué le prochain GPT-4, affirmant que le nouveau modèle ne devrait pas apparaître tant qu'il ne peut pas être réalisé "de manière sûre et responsable." Ce n'est pas vraiment une nouvelle étant donné qu'OpenAI dit cela depuis GPT-2 – et il a bien raison, au vu des dégâts que pourraient faire l'IA. Mais il a ajouté que l'entreprise allait "sortir la technologie beaucoup plus lentement que les gens ne le souhaiteraient. Nous allons nous asseoir dessus pendant beaucoup plus longtemps...", a-t-il déclaré. Le lancement rapide si espéré de GPT-4 ne semble donc pas être pour tout de suite...

Mais cela ne nous empêche pas de rêver et de spéculer sur les futures capacités du modèle de langage ! Bien évidemment, il reprendrait les bases de GPT-3 et pourrait donc générer, traduire et résumer des textes, répondre à des questions, servir de chatbot et générer du contenu unique. Elle produirait des réponses plus rapidement et plus précises, et surtout sans crasher à cause du nombre important de requêtes simultanées soumises par les utilisateurs. Elle devrait également mettre à jour ses connaissances, surtout au niveau de l'actualité et des dernières découvertes, étant donné que celles de GPT-3 s'arrêtent en juin 2021. On compte également sur l'enrichissement de son langage, car les réponses font parfois un peu robotique et utilisent une structure grammaticale et un vocabulaire assez simples. Enfin, on espère que, d'ici là, OpenAI sera parvenu à incorporer une signature dans ses réponses afin de distinguer les textes générés par une IA et ceux écrits par un être humain, mais aussi à régler le problème de désinformation dont souffre ChatGPT. En tout cas, une chose est sûre : GPT-4 s'annonce prometteur et est à surveiller de près !

Autour du même sujet