Anthropic lance Check Files, son détecteur de contenus générés par Claude… avec de sérieuses limites
Anthropic veut faciliter l'identification des contenus créés ou retouchés avec Claude. Son nouvel outil Check Files permet de retrouver les traces laissées par l'IA afin de déterminer l'origine des fichiers.
Il y a quelques semaines, Anthropic avait annoncé l'insertion de filigranes numériques invisibles dans les textes générés ou retouchés par son IA Claude, et ce dans le but de répondre aux nouvelles obligations de transparence prévues par le règlement européen sur l'intelligence artificielle. Une nouvelle qui avait rapidement suscité l'ire des utilisateurs, inquiets de voir leurs contenus ainsi marqués.
Pour accompagner cette nouvelle mesure, l'entreprise a mis en ligne un outil baptisé Check Files, capable de vérifier si Claude est intervenu dans la création ou la modification d'un fichier. De quoi permettre, en quelques secondes, de rechercher les traces laissées par l'IA. Mais contrairement à ce que son nom pourrait laisser penser, l'outil ne permet pas de déterminer si un fichier a été généré par une intelligence artificielle en général : il cherche uniquement les marques de provenance associées à Claude.
Anthropic Check Files : un système de marquage faillible et limité
Le fonctionnement de Check Files repose sur la norme C2PA, un standard ouvert conçu pour assurer la traçabilité et la provenance des contenus numériques. Concrètement, lorsqu'un fichier compatible est produit ou modifié par Claude, le chatbot le marque d'"un filigrane intégré à l'écriture elle-même", tandis que les images et autres contenus graphiques générés par l'IA sont affublés de métadonnées permettant d'en retracer l'origine.
L'intérêt de cette méthode est qu'elle ne repose pas sur une analyse du contenu destinée à déterminer, à partir de son style ou de ses caractéristiques, si une intelligence artificielle l'a produit. Check Files recherche directement une information laissée par Claude dans le fichier. C'est une différence importante avec les traditionnels "détecteurs d'IA", qui tentent de déterminer statistiquement si un texte ou une image semble avoir été généré par une machine.
Pour des raisons de confidentialité, le fichier importé et soumis à la vérification n'est pas envoyé sur les serveurs d'Anthropic, il reste sur l'appareil. L'entreprise précise bien que le détecteur ne lit que les informations d'identification intégrées et non le fichier lui-même.
Reste que l'outil n'est pas infaillible non plus. Anthropic lui-même prend des pincettes. Ainsi, lorsque Check Files ne trouve pas de traces dans un texte ou une image, il indique que "nous n'avons trouvé aucune trace de traitement par Claude pour ce fichier. Cela ne l'exclut pas pour autant. Ce type de signalement peut disparaître lors de la modification, de la conversion ou de la compression d'un fichier". Et même lorsque l'outil détecte bien l'intervention de l'IA, le marquage ne permet pas d'en connaître l'ampleur. Enfin, la détection ne fonctionne que pour Claude, pas pour les autres intelligences artificielles. Sa portée est donc extrêmement limitée pour le moment.