L'IA raconte vraiment n'importe quoi : le test vérité de 60 millions de consommateurs est édifiant
60 millions de consommateurs a voulu vérifier si les intelligences artificielles savaient vraiment conseiller les usagers en cas de litige. Entre imprécisions, erreurs juridiques et inventions totales, les résultats ne sont pas brillants.
Depuis deux ans, les intelligences artificielles s'invitent partout : dans les moteurs de recherche, les messageries, les services clients, et même les tribunaux où elles promettent d'éclairer les citoyens perdus dans les arcanes du droit. Les Français, séduits par leur aisance verbale, les utilisent pour tout et n'importe quoi : près de 40 % y ont déjà recours, d'après Ipsos, et presque trois quarts des 18-24 ans. En théorie, ces assistants numériques peuvent tout expliquer, tout simplifier, tout résoudre. En pratique, leur rapport à la vérité reste parfois... élastique.
Pour en avoir le cœur net, 60 millions de consommateurs a mené un test grandeur nature. Dix lettres réelles de lecteurs, portant sur des litiges du quotidien – hausse de loyer, erreur de billet d'avion, facture oubliée, garantie refusée – ont été soumises à trois IA gratuites : ChatGPT (OpenAI), Gemini (Google) et Le Chat (Mistral AI). Les réponses ont ensuite été disséquées par les juristes de l'Institut national de la consommation, ligne par ligne, texte de loi à l'appui. Objectif : vérifier si ces conseillers numériques pouvaient rivaliser avec un service juridique humain.
Premier constat : les robots ont de la ressource… mais aussi une fâcheuse tendance à l'improvisation. Sur une question simple – peut-on augmenter un loyer sans diagnostic énergétique ? – seul Le Chat a su rappeler la loi Climat et Résilience qui l'interdit pour les logements mal classés. Gemini, lui, a jugé que "le bailleur a le droit d'augmenter le loyer même sans DPE" avant d'ajouter une phrase contradictoire, prouvant qu'il ne maîtrisait pas le sujet. Même dérive dans une affaire de recyclage : l'IA de Google affirmait qu'il fallait compresser les bouteilles plastiques pour "gagner de la place" dans les bacs. En réalité, c'est exactement l'inverse : les centres de tri ne reconnaissent correctement que les bouteilles non écrasées.
Les juristes du magazine ont aussi repéré des erreurs plus graves : des références de lois inventées, des articles abrogés cités comme encore en vigueur, ou des notions juridiques détournées. ChatGPT, par exemple, a fabriqué un passage imaginaire du code de la consommation pour justifier qu'un consommateur n'ait pas à rapporter l'emballage d'un produit défectueux. Le Chat, de son côté, a conseillé d'invoquer le RGPD – le règlement sur la protection des données – pour corriger une faute de frappe dans un billet d'avion. Une confusion absurde, qui montre que la machine ne saisit pas toujours la logique des textes qu'elle cite.
Au fil des dix cas, un constat s'impose : aucune IA ne sort véritablement gagnante. ChatGPT et Le Chat obtiennent chacun trois "bonnes réponses", Gemini deux. Les autres sont soit fausses, soit floues, soit trop incomplètes pour être utiles. Les trois outils se rejoignent pourtant sur certains points : leur ton est toujours assuré, leurs affirmations péremptoires, même quand elles sont fausses. Et c'est bien là le danger : sous leur vernis de compétence, ces IA peuvent produire des "hallucinations" – ces inventions plausibles mais erronées – que l'utilisateur non averti prend pour des vérités.
Le test révèle aussi les limites de leur apprentissage. ChatGPT cite parfois des lois correctes, mais passe à côté des nuances essentielles. Gemini, malgré ses capacités de mise à jour en ligne, se trompe sur des points de droit basiques. Quant au Chat de Mistral AI, pourtant entraîné sur des données françaises, il renvoie souvent vers des sites privés, peu fiables ou hors sujet. Même la dernière génération de modèles, censée atteindre un "niveau doctorat", reste donc fragile face à la complexité du droit.
Le verdict de 60 millions de consommateurs est sans appel : en cas de litige, mieux vaut croiser les réponses de plusieurs IA… ou, mieux encore, consulter un professionnel. Les points d'accès au droit, les maisons de justice ou les associations de consommateurs offrent des entretiens gratuits et fiables, sans phrases inventées ni lois fantômes. Les robots parlent bien, mais ils n'ont pas encore appris à se taire quand ils ne savent pas.