Claude 2 : ce chatbot "éthique" est-il meilleur que ChatGPT ?

Claude, le robot conversationnel qui se veut "honnête, utile et inoffensif", a le droit à de nombreuses améliorations dans sa version 2. Désormais capable de gérer des requêtes plus longues, il délivre de bien meilleurs résultats.

Bien résolu à faire de l'ombre à ChatGPT (OpenAI), Bard (Google) et Bing Chat (Microsoft), Claude a le droit à un nouveau modèle de langage et devient Claude 2. La nouvelle version dispose de moult améliorations, notamment au niveau de la génération de code informatique, des mathématiques et du raisonnement. Pour l'occasion, le chatbot est maintenant disponible en accès libre aux États-Unis et au Royaume-Uni. Il va falloir se montrer patient avant de pouvoir en profiter en France, ou alors se doter d'un VPN !

Pour rappel, Claude est le résultat du travail d'Anthropic, une startup américaine fondée par d'anciens collaborateurs d'OpenAI. Son objectif : "vous aider avec des cas d'utilisation, notamment la synthèse, la recherche, l'écriture créative et collaborative, les questions-réponses, le codage, etc.", indique Anthropic sur son site Web. Bref, exactement ce que fait déjà ChatGPT. Pour se différencier de la plus populaire des IA, Anthropic s'appuie sur les témoignages de ses premiers clients ayant pu tester l'outil afin de l'intégrer à leurs propres systèmes. Ils évoquent le fait que "Claude est beaucoup moins susceptible de produire des sorties nuisibles, plus facile à converser et plus orientable - vous pouvez donc obtenir la réponse souhaitée avec moins d'effort. Claude peut également prendre des directives sur la personnalité, le ton et le comportement".

Claude 2 : quelles évolutions par rapport à la précédente version ?

Claude 2 est une évolution du modèle de langage Claude et fonctionne sur le même principe que ChatGPT : il suffit de lui soumettre une question via une interface pour que l'IA réponde dans un langage naturel. Par rapport à sa précédente version, Claude 2 est capable de traiter beaucoup plus de données puisqu'il peut maintenant analyser rapidement des textes allant jusqu'à 150 000 mots, contre 75 000 pour la version précédente – ce qui représentait déjà la taille du premier livre d'Harry Potter. L'IA peut également rédiger des réponses plus longues, avec des milliers de mots, en une seule fois. Son raisonnement est censé être plus nuancé, et sa logique meilleure. 

Pour mesurer l'évolution de son modèle, Anthropic a soumis Claude 2 à une série d'examens universitaires, de lecture, de mathématiques et d'écriture notamment. Les résultats sont supérieurs à ceux obtenus par la précédente version. Ils sont passés de 73 % à 76,5 % pour l'examen du barreau, de 85,1 % à 88 % pour un test de mathématique (le GSM8K), et de 56 % à 71,2 % pour un test de programmation Python (le Codex HumanEVal).

Claude : plus éthique que ChatGPT ?

L'originalité de Claude vient du fait qu'il s'agit d'une IA "éthique". En effet, contrairement à Bing Chat, l'IA de Microsoft qui s'appuie sur ChatGPT, Claude est déconnecté du Web, et ses connaissances s'arrêtent donc au printemps 2021. Ce qui ne l'empêche pas de s'atteler à la plupart des tâches qui ne reposent pas sur de l'actualité mais, selon Anthropic, avec plus de retenue. La firme indique ainsi que Claude est "formé pour éviter les sorties sexistes, racistes et toxiques" ainsi que "pour éviter d'aider un humain se livrer à des activités illégales ou contraires à l'éthique" – un clin d'œil aux dérives de Bing Chat lors de son lancement. Pour cela, Claude s'appuie sur une "IA Constitutionnelle". Selon Anthropic, celle-ci se fonde sur une dizaine de principes – que la firme n'a cependant pas dévoilés – axés sur des concepts de bienfaisance, de non-malfaisance – afin de ne pas délivrer de conseils nuisibles – et d'autonomie.

Claude 2 : des aptitudes et comportements à améliorer

Mais si Claude 2 est moins susceptible de générer des textes offensants ou toxiques que sa précédente version, il peut toujours commettre des impairs, notamment des "hallucinations". En d'autres termes, il peut inventer des éléments de réponse lorsqu'il ne connaît pas justement la réponse à une question posée. Lors de ses essais sur la précédente version de l'IA, Dan Elton, un chercheur en intelligence artificielle, avait pu mener Claude à inventer un nom pour un produit chimique farfelu et à fournir des instructions pour produire de l'uranium de qualité militaire. Il rejoint donc sur ce terrain l'un des défauts de ChatGPT qui avait lui aussi tendance à fabuler à ses débuts lorsqu'il ne trouve pas la réponse à une problématique – OpenAI a toutefois réussi à atténuer ce défaut.

Anthropic s'est efforcé de renforcer les barrières et les filtres utilisés pour éviter les dérives de son IA. Sur la précédente version, Dan Elton avait réussi, par des chemins détournés, à obtenir de Claude la méthode pour élaborer de la méthamphétamine maison. Désormais, il est plus difficile de lui faire générer des contenus répréhensibles, comme le code d'un virus par exemple. L'entreprise s'est également efforcée de mieux se protéger contre les attaques de "prompt injection", qui consistent à convaincre un chatbot d'ignorer sa programmation pour produire des contenus interdits.

Cité par Forbes, Dario Amodei, cofondateur et PDG d'Anthropic, souligne qu'"il est presque certain que quelqu'un va trouver une nouvelle faille dans le modèle, quelqu'un va constater une mauvaise hallucination. Il y a trop de choses que vous pouvez dire au modèle, et trop de choses que le modèle peut répondre. Ces choses ne seront jamais parfaites" . Aussi, Anthropic affiche un avertissement avant de nous laisser s'adresser au chatbot : "notre IA peut occasionnellement générer des informations incorrectes ou trompeuses, ou produire un contenu offensant ou tendancieux".

Claude : une déclinaison en deux versions pour les entreprises

La version bêta de Claude est fermée depuis la fin de 2022. Anthropic travaille néanmoins avec des partenaires pour y intégrer son IA. On peut déjà en apprécier une partie des résultats dans le moteur de recherche DuckDuckGo – avec la fonction DuckAssist dans la version iOS, Android et macOS ainsi que dans les extensions pour navigateurs Web –, mais aussi dans l'outil d'aide à l'écriture Notion ou encore sur le forum informatique Quora à travers le robot conversationnel Poe.

Claude se déploie auprès des entreprises qui souhaitent l'intégrer en le déclinant en deux versions. Claude (tout court), un modèle indiqué comme étant de haute performance et à la pointe de la technologie, et Claude Instant, vanté comme étant une version plus légère, plus rapide et moins coûteuse. Et à en juger des écarts de tarifs entre les deux versions, la prestation doit se montrer bien différente. Les prix pour les entreprises souhaitant exploiter les talents de Claude s'établissent pour Claude Instant à 0,43 $ par million de caractères en entrée (requête) et 1,45 $ par million de caractère en sortie (réponse) et pour Claude à 2,90 $ par million de caractère en entrée et 8,60 $ par million de caractères en sortie. Une sacrée différence !