Une publicité Microsoft vante des fonctions de Copilot... qui ne fonctionnent pas !
Dans une publicité pour Noël, Microsoft a vanté les qualités de son IA pour Windows, le fameux Copilot. Des journalistes taquins ont testé les fonctions mises en avant, et le résultat est loin d'être convaincant…
Pour Noël, Microsoft a dévoilé une publicité pour Copilot, son IA multifonction intégrée à Windows que l'entreprise cherche à caser dans les moindres recoins. On y voit plusieurs personnes en pleins préparatifs pour les fêtes. Et il y a beaucoup à faire ! Heureusement, elles peuvent compter sur l'aide de l'intelligence artificielle de la firme de Redmond, que ce soit pour synchroniser des guirlandes lumineuses avec de la musique, ajuster une décoration de Noël en respectant des règles de voisinage, convertir des recettes ou même aider le Père Noël à résoudre un problème de production de jouets. Cela fait rêver, n'est-ce pas ?
Sauf que, lorsque les journalistes de The Verge ont décidé de tester tout ça, ils se sont rendus compte que rien ne fonctionnait correctement, même les tâches les plus simples…
Copilot : quand la magie de Noël ne marche plus
La publicité de Microsoft fait intervenir plusieurs prompts, c'est-à-dire des consignes en langage naturel données à l'IA, tels que "montre-moi comment synchroniser mes guirlandes lumineuses de Noël avec de la musique", "convertis cette recette affichée à l'écran pour qu'elle nourrisse douze personnes" ou encore "lis des règles de copropriété (HOA) et vérifie si je suis en règle". Mais alors, qu'est-ce que cela donne dans la réalité ?
Les journalistes de The Verge ont essayé ces mêmes prompts et ont constaté que l'assistant avait des difficultés importantes à accomplir ces tâches ou à interpréter correctement l'écran, contrairement à ce que montre la publicité. Ainsi, pour les guirlandes de Noël, Copilot a bien repéré le bouton de synchronisation, mais n'a pas réussi à l'utiliser. L'IA a également mis en surbrillance des boutons qui n'existaient pas et a réalisé de nombreuses erreurs dans la marche à suivre.
Pour la partie cuisine, Copilot a multiplié certains ingrédients de la recette avec le bon coefficient, mais pas tous. De plus, il a confondu les boutons pour changer le nombre de portions avec les boutons "+" et "–". Bref, ça n'allait pas du tout. Idem pour la partie concernant le règlement, l'IA a correctement pu lire le document, mais n'est pas parvenue à donner des conseils précis et exploitables, se contentant de réponses générales et hésitantes. Enfin, nos confrères ont tenté de lui faire clarifier des instructions de montage pour un meuble Ikea – une manière d'adapter la demande du Père Noël sur son atelier à jouets cassé –, et là encore le résultat était catastrophique, puisque Copilot confondait souvent des éléments et donnait des instructions très confuses.
Ces observations renforcent l'idée que ce qui est montré par Microsoft est largement "idéalisé" et pas du tout représentatif des résultats réels. Pourtant, Nicci Trovinger, la directrice générale du marketing Windows, a maintenu auprès du média que "toutes les réponses de Copilot sont des réponses réelles données par Copilot aux scénarios présentés et aux questions posées à un moment donné", mais qu'elles ont simplement écourtées pour la durée du spot publicitaire. Pas sûr que les utilisateurs, dont une partie est fort agacée par l'intégration forcée de l'IA, soient convaincus…