ChatGPT et IA : attention aux conseils dangereux et même mortels !

Avec l'émergence des IA, beaucoup se tournent désormais vers les chatbots pour trouver des réponses à leurs interrogations. Mais plusieurs alertes récentes prouvent qu'il ne faut pas se fier à ChatGPT quand il s'agit de santé !

Un petit rhume qui traîne depuis quelques jours ? Un étrange bouton sur la poitrine ? Pas de soucis, demandons à ChatGPT ! Car si l'on avait déjà tendance à demander à Google la réponse à tous nos problèmes et à nos interrogations, la popularisation des intelligences artificielles génératives n'a fait que renforcer le phénomène. En même temps, elles inspirent fortement à la confiance, avec leur langage naturel, leur base de données absolument immense et leur aplomb sans faille ! Elles ont toujours réponses à tout ! Mais cela ne les empêche nullement de raconter n'importe quoi. Sans compter que des petits malins s'amusent à vendre sur les plateformes de e-commerce des livres écrits par ChatGPT. Et si certaines erreurs sont bénignes, d'autres peuvent avoir des conséquences beaucoup plus funestes… 

ChatGPT et santé : le dangereux combo

Des chercheurs du Brigham and Women's Hospital, un établissement rattaché à l'Université de Harvard, ont publié une étude dans la revue JAMA Oncology révélant à quel point ChatGPT peut fournir des réponses totalement erronées sur des questions de santé. Ils lui ont posé différentes questions portant sur le traitement du cancer et il s'est avéré que 34,3 % des réponses fournies par le modèle de langage ne correspondaient pas aux recommandations des principaux centres de cancérologie du pays. Pire encore, 13 des 104 réponses étaient totalement inventées. Et c'est particulièrement dangereux sur un tel sujet… Danielle Bitterman, coauteure de l'étude, explique que "les réponses de ChatGPT peuvent ressembler beaucoup à celles d'un être humain et être assez convaincantes. Mais lorsqu'il s'agit de prendre des décisions cliniques, il y a tellement de subtilités à prendre en compte dans la situation unique de chaque patient. Une bonne réponse peut être très nuancée, et ce n'est pas nécessairement quelque chose que ChatGPT ou un autre modèle de langage peut fournir".

Ce n'est pas la seule étude à mettre en exergue ce problème. Un peu plus tôt, des chercheurs du CHU Sainte-Justine et de l'Hôpital de Montréal pour enfants ont interrogé, dans le cadre d'une étude, ChatGPT afin de lui poser vingt questions médicales portant sur vingt articles scientifiques récemment publiés. Ils lui ont ensuite demandé d'y répondre, en fournissant des références. Résultat : le chatbot a fait cinq erreurs factuelles majeures dans ses réponses et a inventé 70 % des références fournies. Après, tout n'est pas catastrophique pour autant, et il a été démontré que ChatGPT pouvait être une excellente aide dans le domaine médical. Par exemple, sous GPT-3 – le précédent modèle de langage sur lequel repose le chatbot –, il a été capable d'identifier dans les écrits d'une personne les premiers stades de la maladie d'Alzheimer, avec une efficacité de 80 %. Aussi, l'IA peut être efficace pour les professionnels, pour les aider à réfléchir, à envisager des pistes, mais il ne faut certainement pas prendre sa parole pour du pain béni. Rien ne remplace la parole d'un professionnel de santé ! 

Livres écrits par IA : des conseils parfois mortels

Mais si on ne se fie pas complètement à ChatGPT, on va parfois chercher des conseils auprès de sources que l'on pense fiables : les livres. Or, de plus en plus d'ouvrages vendus sur Amazon et autres libraires en ligne sont en réalité écrits par des intelligences artificielles. Récemment, des escrocs ont profité des vacances estivales pour mettre en vente sur la plateforme de Jeff Bezos de faux guides de voyage rédigés par des IA (voir notre article). Mais, outre les mauvaises surprises et la sensation désagréable de s'être fait avoir, ces livres peuvent se révéler dangereux pour la santé. 

La Société mycologique de New York et 404 Media tirent la sonnette d'alarme. À l'approche de l'automne, de nombreux férus de champignons vont partir à la cueillette. Mais avec environ 5 000 espèces de champignons sur le sol français, difficile de différencier ce qui peut être mangé de ce qui est dangereux pour la santé. Aussi, nombreux sont ceux qui se tournent vers des guides sur Amazon… qui sont parfois rédigés par des IA, sans que cela soit mentionné. Certains "auteurs" vont même utiliser des IA génératrices d'images pour leur photo d'auteur, afin d'être davantage crédibles. C'est le cas de Wild Mushroom Cookbook: un guide du débutant pour apprendre les bases de la cuisine avec des champignons sauvages avec des recettes complètes, faciles à suivre, bonnes pour la santé et la gourmandise!, disponible sur Amazon. Les auteurs de ce type d'ouvrages ont tous des profils similaires : des dizaines de titres – essentiellement des guides pratiques sur l'alimentation et la nutrition – parus au cours des deux derniers mois, une page d'auteur vague, citant des formations en nutrition et des expériences dans la recherche, mais sans préciser dans quelles institutions ils ont travaillé ou obtenu des diplômes. Certains, plus audacieux, donnent des références impressionnantes mais, lorsque l'on creuse un peu, on se rend vite compte qu'elles sont fausses. 

Le problème, c'est que l'IA est incapable de discerner les différences entre un champignon comestible et un champignon toxique, qui peuvent parfois être très subtiles en raison de la ressemblance entre certains spécimens. Sigrid Jakob, présidente de la Société mycologique de New York, explique que les champignons vénéneux "peuvent ressembler à des espèces populaires comestibles. Une mauvaise description dans un livre peut inciter quelqu'un à manger un champignon vénéneux". Aussi, l'organisme appelle à la prudence : "S'il vous plaît, n'achetez que des livres d'auteurs et cueilleurs connus, c'est littéralement une question de vie ou de mort". Amazon a déjà retiré certains ouvrages de la vente. La plateforme fait de son mieux pour détecter les faux ouvrages ou ceux qui sont dangereux, mais elle doit faire face à l'importante quantité de livres impliquant des IA publiés ces derniers mois. Difficile alors pour elle de faire le tri en temps et en heure. 

Moralité : il ne faut jamais se fier à ChatGPT ! Il existe des applications pour connaitre la variété de champignons en prenant le végétal directement en photo, mais le mieux reste de demander l'avis d'un pharmacien ou d'un mycologue. La Société mycologique de France, spécialisée dans l'étude des champignons dans l'Hexagone, propose aussi sur son site une liste des champignons toxiques et comestibles.