Pilotage à la voix, suivi visuel, actions autonomes : Copilot s'installe au cœur des PC Windows 11
Copilot mérite enfin son nom : Microsoft va en effet intégrer complètement son IA dans Windows 11 pour en faire un véritable assistant intelligent et polyvalent, capable d'exécuter des commandes vocales, de comprendre ce qui s'affiche et même d'effectuer des actions autonomes.
Microsoft avait promis une grosse annonce sur l'avenir de Windows pour la mi-octobre, comme pour marquer la fin de Windows 10. C'est fait, à travers une vaste campagne de communication accompagnée d'un long billet de blog de Yusuf Mehdi, directeur du marketing, publié ce 16 octobre.
Et, sans réelle surprise, tout tourne autour de l'IA. Et plus exactement, autour de Copilot, qui va désormais s'intégrer au cœur même du système, pour assister l'utilisateur au quotidien, dans toutes ses actions et ses applications. L'idée est de faire de Copilot un assisant polyvalent pouvant interagir avec un humain comme le ferait un véritable interlocuteur, capable d'écouter, de voir et même de jouer. Plus qu'une simple évolution, c'est bien une véritable révolution que Microsoft prépare pour l'utilisation d'un PC. Mais malgré son côté magique et pratique, il n'est pas certain qu'elle plaise à tout le monde…
Copilot dans Windows 11 : l'IA pour tous les PC
La vraie surprise, c'est que cette mutation ne sera pas associée à un hypothétique Windows 12 qui reste encore dans les cartons. Microsoft a décidé de l'entamer dans Windows 11, dès la version 25H2, déjà disponible sur de nombreux PC. Mieux encore, elle ne sera pas réservée aux seuls PC estampillés Copilot+, avec un processeur spécialisé dans l'IA – le fameux NPU qu'on trouve dans un nombre croissant de puces. Ce "nouveau" Copilot "augmenté" va devenir accessible à tout le monde, même si Microsoft reste encore un peu flou sur certains points.
La promesse est claire : Microsoft veut "faire de chaque PC Windows 11 un PC IA", en ajoutant des fonctions à Copilot. Un pari ambitieux, qui, de façon ironique, pourrait sonner discrètement comme un aveu d'échec pour ces fameux PC Copilot+ que Microsoft essaye de vendre depuis un an, mais qui n'ont pas pas rencontré le succès escompté auprès du public, à la fois à cause des prix pratiqués, et des performances assez décevantes des modèles à puce ARM, de type Snapdragon X. Encore un concept marketing à la noix dont Microsoft a le secret et qui se termine par un flop.
Quoi qu'il en soit, le nouveau Copilot qui arrive dans Windows 11 va s'enrichir de plusieurs fonctions qui pourraient faire de l'effet auprès de certains utilisateurs par leur côté spectaculiare.
Copilot Voice : piloter un PC à la voix
La première nouveauté, c'est Copilot Voice, une fonction permettant de contrôler l'IA, donc Windows et le PC, à la voix, sans utiliser le clavier ou la souris, comme si l'on discutait avec un assistant humain. Concrètement, plus besoin de taper de requête. Il suffit d'interpeler l'assistant en prononçant une formule clé du genre "Hey Copilot !' ou "Dis, Copilot!', ou d'ouvrir sa petite fenêtre flottante, de poser une question ou de dicter une commande et de laisser l'assistant répondre oralement.
L'échange se fait naturellement, sans qu'il soit nécessaire de cliquer ou d'attendre une validation. Microsoft a travaillé sur la fluidité de la conversation : Copilot interrompt, reformule ou précise selon le ton et le contexte. Dans Word, il adopte un registre professionnel ; dans Edge ou dans Windows, il se fait plus familier. Cette fonction, encore en déploiement progressif, s'appuie sur la technologie ChatGPT Voice d'OpenAI, déjà utilisée sur mobile. Et pour terminer, il suffit d'arrêter de parler, de fermer la fenêtre flottante de Copilot ou même de dire simplement "Goodbye ou" ou "Au revoir".
Le fait de pouvoir parler à un ordinateur n'est pas nouveau en soi. Il y a déjà bien longtemps que l'on peut taper du texte en le dictant, sur Windows comme sur macOS. Mais là, l'enjeu est différent car il s'agit non seulement de piloter le PC à la voix mais aussi de discuter verbalement avec l'IA, en lui posant toutes sortes de questions. Les esprits moqueurs ne manqueront pas de souligner que Microsoft s'en déjà lancé dans ce genre d'aventure avec le tristement célère Cortana, l'assistant "intelligent" lancé en fanfare sur Windows 10, avant d'être misérablement envoyé aux oubliettes. Il faut espérer que Microsoft a mieux soigné sa copie pour que Copilot Voice ne subisse pas le même sort.
Surtout, il faudra vérifier en pratique la pertinence et l'efficacité de ce mode vocal, une fois passé l'amusement du début comme c'était le cas pour Alexa d'Amazon. Sans compter qu'il ne sera pas simple d'utiliser Copilot Voice dans de nombreuses situations de vie quotidienne, notamment quand on est entouré, au bureau dans un open space ou dans les lieux publics et les transports.
Copilot Vision : l'IA qui voit ce qui s'affiche à l'écran
La deuxième nouveauté majeure, déjà annoncée au printemps dernier, c'est l'arrivée de Copilot Vision, un outil de reconnaissance visuelle capable de "voir" et de "comprendre" ce qui s'affiche à l'écran en tenant compte du contexte pour guider et aider l'utilisateur, sans avoir besoin de tout expliquer à l'iA.
En pratique, un clic sur l'icône en forme de lunettes active le partage d'écran, limité à une application ou étendu à l'ensemble du bureau. Copilot Vision peut alors montrer où il faut cliquer, suggérer des modifications ou même signaler des options oubliées, en affichant si besoin des repères visuels pour guider l'utilisateur dans ses actions avec la fonction de surlignage Highligts – par exemple pour ajuster un réglage dans les paramètres ou trouver une option dans une application.
Copilot Vision est capable d'analyser une image (capture d'écran, photo…), mais aussi un document entier, y compris en analysant son fichier, et, surtout, tout un contexte, avec l'environnement du bureau et des fenêtres d'applications. Il peut par exemple décrire ce qu'il voit, reconnaître un graphique, identifier un objet ou extraire des données d'un tableau. On peut lui demander : "Que montre ce schéma ?", "Peux-tu me résumer ce document ?" ou "Quel est ce composant sur la photo ?". Copilot s'appuie sur les modèles multimodaux développés par OpenAI pour interpréter l'image et fournir une réponse textuelle, souvent accompagnée d'actions : ouvrir une recherche, générer un rapport ou créer un tableau Excel à partir d'un visuel. Les perspectives semblent infinies. Mais là encore, il faudra accepter des partager des informations parfgois co,nfidentielles avec l'IA…
La troisième nouveauté, plus inattendue, s'adresse aux amateurs de jeu vidéo. Sous le nom Copilot Gaming, Microsoft teste une série de fonctions expérimentales destinées à accompagner les joueurs sur Xbox et PC. L'assistant peut fournir des conseils en temps réel, expliquer une mission, adapter la difficulté ou même lire les dialogues d'un jeu. Dans certains titres compatibles, il est capable de résumer l'intrigue, de traduire les menus ou d'aider à la navigation dans les interfaces. L'objectif est double : enrichir l'immersion et rendre le jeu plus accessible, notamment aux joueurs malvoyants ou débutants.
Copilot Actions : l'IA qui agit sur les fichiers et le PC
Ces trois modes seront complétés par Copilot Actions. Avec cette nouvelle fonction, l'assistant de se contente de répondre à des question ou de guider l'utilisateur : il peut agir directement sur le PC et son contenu, pour modifier des fichiers, trier des photos, organiser des dossiers, extraire du texte d'un PDF ou effectuer des tâches dans des applications, à condition évidemment de lui en donner l'autorisation. Ce mode, s'ajoute à Copilot Actions sur le Web, une fonction présentée en mai dernier qui permet à Copilot d'effectuer des actions réelles sur Internet au nom de l'utilisateur, comme réserver une table au restaurant préféré ou commander des produits. Il s'agit là d'une des incarnations des fameux agents IA, ces modules autonomes que l'industrie cherche à implanter dans de nombreux contextes, mais qui risquent encore d'effrayer les utilisateurs par ses possibilités.
Microsoft promet que l'utilisateur gardera le contrôle total de Copilot Actions. La fonction sera désactivée par défaut et on pourra la suspendre et la reprendre à tout moment en suivant sa progression en permanence et restant informé à chaque étape. Et si une décision sensible ou importante est impliquée, Copilot Actions pourra demander une approbation.
Enfin, Microsoft insiste sur l'intégration de Copilot Ask dans la barre des tâches, un module permettant d'interagir rapidement et facilement avec Copilot dans toutes ses dimensions, que ce soit pour le mode vocal, la reconnaissance visuelle, des questions ou des actions.
Toutes ces nouvelles fonctions ne sont pas disponibles immédiatement. Certaines, comme Copilot Voice et Copilot Vision sont en cours de déploiement sur tous les PC Windows 11. Elles peuvent déjà être utilisées sur les PC où Copilot est installé, à condition de les activer dans les paramètres. Et, encore une fois, pas besoin d'un PC Copilot+, ni d'une puce NPU pour en profiter. D'autres sont encore en cours de test auprès des membres des programmes Windows Insider, Copilot Labs et Xbox Insider avant d'être étendues à tous les utilisateurs, ce qui parait prudent.
En revanche, comme à son habitude, Microsoft entretient un certain flou dans la commercialisation de ces nouveaux services. On imagine que la plupart seront gratuits, car intégrés à Windows 11, mais peut-être avec des limites d'utilisation, quand d'autres seront payants, à travers un abonnement. comme c'est le cas de Copilot pour Microsoft 365. Pas sûr que tout soit bien clair pour tout le monde.
Copilot dans Windows 11 : une IA omniprésente
On le voit, cette version de Copilot n'est pas une application isolée : elle va s'intégrer directement dans le système, avec une présence croissante dans Windows. Elle dessine déjà un avenir où l'IA sera partout. Ce qui n'est pas sans soulever des questions et des inquiétudes très légitimes. En particulier sur la confidentialité.
De fait, outre l'obligation d'utiliser un compte Microsoft, ces nouveautés Copilot vont nécessiter des échanges permanents avec les serveurs de Microsoft, ce qui ne plaira pas à tout le monde. Microsoft précise que les conversations vocales et les images envoyées sur ses serveurs peuvent être temporairement stockées pour améliorer le service, mais que l'utilisateur gardera la possibilité de désactiver l'historique et de supprimer ses requêtes depuis les paramètres de confidentialité. L'entreprise insiste sur le fait que les données ne sont pas utilisées pour entraîner les modèles tiers d'OpenAI, mais uniquement pour améliorer les performances du Copilot intégré à Windows.
Vous l'aurez compris, Microsoft veut mettre de l'IA partout dans Windows. L'avenir nous dira si cette vision répond à un besoin réel des utilisateurs où s'il s'agit d'un énième gadget destiné à relancer la machine commerciale.