GPTZero : l'appli qui repère les textes générés par ChatGPT

GPTZero : l'appli qui repère les textes générés par ChatGPT

ChatGPT inquiète beaucoup les enseignants car c'est un fabuleux outil de triche. Pour lutter contre les supercheries, un étudiant a développé GPTZero, une appli capable de déterminer si des textes ont été rédigés par l'IA ou par un humain.

ChatGPT, l'IA conversationnelle d'OpenAI capable de générer des textes précis et détaillés dans un langage naturel via une simple demande, affole les milieux de l'écriture et de l'enseignement. Elle est si efficace qu'il est parfois impossible de différencier ses créations de celles d'un humain, ce qui pose un sacré problème. Les étudiants en particulier y voient un gain de temps précieux ainsi que la possibilité d'obtenir une bonne note sans trop d'efforts. Un problème parmi tant d'autres, qui pousse ses développeurs à trouver un moyen de mettre en place une signature au sein du texte afin de différencier ceux produits par l'IA de ceux issus d'un humain.

Alors que certains font la fête pour le Nouvel An, Edward Tian, un étudiant en informatique et en journalisme de l'Université de Princeton, aux États-Unis, l'a passé à développer une application dont l'algorithme permet d'identifier si un texte a été produit par le chatbot ou s'il a été écrit par un humain. Baptisée GPTZero, elle analyse le texte afin d'évaluer sa complexité, son caractère aléatoire par rapport à un modèle de texte ainsi que son uniformité. Combinés ensemble, ces éléments permettent – enfin, en théorie – de déterminer si le contenu a été créé par un humain ou par une IA.

GPTZero : un outil anti-plagiat pratique, mais perfectible

GPTZero est accessible gratuitement via n'importe quel navigateur Web depuis gptzero.me ou cette adresse. Attention, l'outil est encore en version bêta, donc il bugue souvent et n'est pas très rapide. Il faut attendre quelques minutes entre chaque étape que la page se charge et ne pas hésiter à la réactualiser si un message d'erreur apparait. Il ne faut pas être pressé ! Le site est en anglais, mais GPTZero est tout à fait capable d'analyser un texte en français. Pour l'utiliser, il suffit de copier/coller le texte dans le champ correspondant puis de faire Ctrl + Entrer pour que l'outil l'analyse. Il faut ensuite attendre quelques minutes que tous les résultats s'affichent et, à la fin, cliquer sur "Get GPTZero Result".

Pour déterminer si le texte a été écrit par une intelligence artificielle ou un humain, GPTZero mesure sa Perplexité (Perplexity en anglais), qui désigne "le caractère aléatoire du texte". Il s'agit d'"une mesure de la capacité d'un modèle de langage comme ChatGPT à prédire un échantillon de texte. En d'autres termes, elle mesure à quel point le modèle informatique aime le texte." Plus la perplexité d'un texte est élevée, plus il est susceptible d'avoir été écrit par un humain.

Dans notre test, ChatGPT a généré un texte à partir de la consigne suivante : "écris un texte exhaustif sur la place de la philosophie dans Harry Potter." Son score de perplexité a été de 38. Toutefois, il ne tient pas compte de nombreux facteurs, comme la longueur du texte. Or, les textes plus longs sont moins aléatoires et ont généralement des perplexités plus faibles. C'est pourquoi il faut prendre en compte la perplexité moyenne, c'est-à-dire sur l'ensemble des phrases. Cette fois, elle était de 72,3. Enfin, en analysant phrase par phrase la complexité du texte, GPTZero est arrivé à la conclusion que notre texte sur Harry Potter a été écrit par une IA. Sur notre article sur l'Apple Pencil, notre perplexité totale a été de 190, et l'outil en a conclu que le texte a bel et bien été écrit par un humain. À noter que certaines phrases écrites par l'humain peuvent avoir une faible perplexité, mais il y a forcément des pics de perplexité lorsqu'il continue à écrire – d'où la nécessité d'analyser phrase par phrase. En revanche, la perplexité est uniformément distribuée et constamment faible pour les textes générés par des machines.

Outils