C'est officiel : vos conversations avec ChatGPT sont espionnées par OpenAI
OpenAI vient d'officialiser la surveillance des conversations avec ChatGPT. Afin de prévenir les violences et les accidents, l'entreprise a mis en place un dispositif de renseignement comportemental qui analyse les échanges.
La tuerie survenue à Tumbler Ridge, au Canada, ayant entraîné la mort tragique de huit personnes, a brutalement remis sur le devant de la scène la question du rôle et de la responsabilité des intelligences artificielles dans des actes de violence. Selon les premiers éléments de l'enquête, l'auteur des faits aurait utilisé ChatGPT pour obtenir des informations afin de préparer son passage à l'acte.
Si OpenAI avait bien détecté les messages inquiétants, l'entreprise est vivement critiquée pour ne pas avoir averti les forces de l'ordre du danger imminent, ni suffisamment encadré les usages de son outil. Sept plaintes ont par conséquent été déposées par les familles des victimes contre la firme de Sam Altman, obligeant ce dernier à présenter des excuses publiques.
Dans un billet de blog intitulé "Notre engagement envers la sécurité communautaire", OpenAI a décidé de jouer la transparence et détaille pour la première fois l'infrastructure qu'elle déploie pour scanner, analyser et potentiellement signaler aux autorités les échanges de ses abonnés. L'objectif est de rassurer le public et de montrer que des mesures concrètes sont mises en place pour prévenir les dérives.
Mais derrière un discours apparemment consensuel sur la prévention des violences, l'entreprise officialise en réalité un point sensible : la surveillance des conversations entre les utilisateurs et ChatGPT. Le tout sans aucun cadre juridique défini.
Surveillance de ChatGPT : un difficile compromis entre confidentialité et sécurité
Le système de protection d'OpenAI repose sur plusieurs niveaux de contrôle. D'abord, des systèmes automatisés analysent en continu les échanges afin de détecter des contenus sensibles ou potentiellement dangereux. Ils s'appuient sur des modèles de classification capables d'identifier des signaux faibles, comme des intentions violentes ou des demandes suspectes.
Lorsque certains seuils sont atteints, les conversations peuvent être transmises à des équipes humaines chargées de les examiner plus en détail. OpenAI assure que "leur accès aux informations des utilisateurs est donc limité, effectué au sein de systèmes sécurisés et soumis aux exigences de confidentialité et de protection des données".
Ce second niveau de modération permet de contextualiser les échanges et d'observer les schémas comportementaux sur la durée, c'est-à-dire entre plusieurs sessions distinctes. "Un message isolé peut sembler inoffensif, mais un schéma plus large au sein d'une longue conversation, ou entre plusieurs conversations, peut révéler quelque chose de plus préoccupant", explique l'entreprise. Cette étape permet elle-même de savoir si l'activité signalée "nécessite un examen humain plus approfondi, ou peut être classée sans suite ou dépriorisée".
Dans les cas jugés les plus préoccupants, notamment lorsqu'une menace crédible et imminente est identifiée, OpenAI indique pouvoir aller plus loin en alertant les autorités compétentes. Ce point, déjà évoqué auparavant de manière assez implicite – un homme avait déjà été arrêté par le Raid à Strasbourg après avoir cherché sur le chatbot comment tuer un agent du renseignement –, est ici assumé de façon beaucoup plus claire.
De même, les équipes de Sam Altman peuvent alerter les parents d'adolescent en cas de "détresse aiguë" détectée dans leurs conversations avec l'IA. L'entreprise insiste sur le caractère exceptionnel de ces signalements, présentés comme une mesure de dernier recours visant à prévenir des violences graves.
Surveillance de ChatGPT : quid de la vie privée des utilisateurs ?
Ce dispositif, tel qu'il est décrit, s'inscrit dans une logique de responsabilité croissante des plateformes technologiques. Il rapproche les systèmes d'intelligence artificielle des réseaux sociaux, où la modération et la surveillance des contenus sont devenues des pratiques courantes. Cependant, cette évolution soulève des interrogations majeures.
Officiellement, il s'agit d'un engagement en faveur de la sécurité des utilisateurs et de la société. Mais dans les faits, cela confirme l'existence d'une surveillance humaine et automatisée des discussions. Des systèmes de modération analysent les contenus, et des examinateurs humains peuvent intervenir pour évaluer certaines situations.
OpenAI met en avant la nécessité d'anticiper les abus et les dérives, mais reste plus discret sur les implications pour la vie privée. Or, si, en pratique, les utilisateurs doivent accepter que leurs échanges puissent être analysés, stockés et, dans certains cas, examinés par des humains, beaucoup considèrent encore leurs échanges avec l'intelligence artificielle comme des conversations strictement confidentielles.
Mais la tuerie de Tumbler Ridge et ce billet d'OpenAI mettent également en lumière un vide juridique important. Il se trouve que les cadres légaux actuels peinent à définir clairement la responsabilité des entreprises développant des intelligences artificielles. Sont-elles de simples fournisseurs d'outils, ou doivent-elles être tenues responsables des usages qui en sont faits ?
La réponse reste floue étant donné que les législations évoluent plus lentement que les technologies. Cela crée une zone grise où des pratiques techniquement légales peuvent apparaître problématiques au niveau du respect des libertés individuelles.
Notons également qu'OpenAI peut agir en l'absence de mandat judiciaire, de juge ou de toute obligation légale de transparence. L'entreprise évalue elle-même la crédibilité et l'imminence d'une menace, puis décide souverainement de contacter les forces de l'ordre ou non. Elle a recours à des psychiatres et à des spécialistes du comportement pour jauger la dangerosité de ses utilisateurs, sur des critères qu'elle seule connaît. Ce mécanisme existe déjà sur les réseaux sociaux ou les services de messagerie, mais, ce qui change ici, c'est la nature des échanges, souvent perçus comme plus privés.
Cela pose problème, d'autant plus que, en Europe, toute collecte et tout traitement de données personnelles doivent respecter des règles strictes, notamment en matière de finalité, de proportionnalité et de transparence – merci le RGPD ! En théorie, les pratiques décrites dans le billet de blog devraient donc s'inscrire dans ce cadre. En pratique, sans informations détaillées sur la manière dont les données sont traitées, conservées ou partagées, il est difficile d'évaluer pleinement leur conformité.