WWDC 2024 : Apple fait son intelligent

Comme attendu, Apple a bien présenté sa vision de l'intelligence artificielle lors de la keynote d'ouverture de sa conférence annuelle des développeurs. Rien de révolutionnaire, mais une habile synthèse de ce qui se fait ailleurs.

À Cupertino, l'acronyme AI signifie Apple Intelligence. Après un long exposé des nouveautés mineures autour d'iOS 18, iPadOS 18 et macOS 15, la keynote de la WWDC 2024 qui s'est tenue en ligne ce lundi 10 juin à 19 h heure française s'est enfin tournée du côté de l'Intelligence Artificielle. Aucune nouvelle fonction fracassante mais un très bel exercice de rattrapage de la part d'Apple qui promet une intégration réussie de tous les outils d'IA à tous les étages de tous ses systèmes d'exploitation. Avec le ChatGPT d'OpenAI en embuscade…

On a presque eu peur : pendant la première heure de la vidéo d'ouverture de la conférence pour développeurs Apple – la fameuse WWDC pour WorldWide Developers Conference ou " Dub-Dub-Di-SSi " pour les intimes anglophones – il n'a quasiment pas été question d'Intelligence Artificielle, mais uniquement des nouveautés des systèmes iOS 18, iPadOS 18, watchOS 11 et macOS 15 Sequoia (lire notre article). Alors que, pourtant, la firme à la Pomme est considérée par tout le monde comme étant en retard dans le domaine. Heureusement elle s'est rattrapée sur la fin en consacrant une demi-heure à l'IA qui, à Cupertino, veut dire Intelligence Apple, en toute simplicité… Oui, vous avez bien lu, Apple a décidé de reprendre à son compte l'acronyme AI (en anglais) pour donner à l'ensemble de ses nouvelles fonctions d'intelligence artificielle le nom d'Apple Intelligence. Difficile de leur en vouloir, ils ne pouvaient pas laisser passer une si belle occasion, depuis le temps que l'on parle d'IA…

Notons aussi qu'OpenAI, l'inventeur de ChatGPT a joué les invités surprise à la fin de la présentation. Enfin, pas tout à fait surprise puisque les rumeurs d'un accord entre les deux entreprises s'étaient faites de plus en plus insistantes ces dernières semaines. Et aussi parce que Sam Altman, le patron fondateur d'Open AI a été largement remarqué se baladant dans l'Apple Park, le QG d'Apple, dès une heure avant le début de la keynote. Plusieurs développeurs ont même pu prendre des selfies avec lui. Le secret était donc éventé avant l'annonce officiel du partenariat, réalisée dans la vidéo par Craig Federighi, le patron du logiciel chez Apple. De quoi s'agit-il ? Tout simplement d'un accès gratuit à ChatGPT-4o, le tout dernier-né d'OpenAI, annoncé le 13 mai dernier (lire notre article). Le système proposera automatiquement d'envoyer votre requête vers ChatGPT au cas où le nouveau Siri ne serait pas suffisant pour y répondre (voir plus loin). L'accès gratuit à ChatGPT-4o se fera automatiquement et de manière anonyme, sans avoir besoin de créer un compte, a-t-ton insisté chez Apple. Mais les détenteurs d'un compte ChatGPT+ pourront le relier à leur iPhone, iPad ou Mac pour profiter directement depuis leurs appareils des fonctions réservées aux abonnées payants d'OpenAI.

Comment revoir la WWDC 2024 ?

Comme on en a maintenant l'habitude, la keynote de la WWDC 2024 était entièrement enregistrée et diffusée en ligne, en direct, en streaming. Seules quelques centaines de privilégiés – développeurs naturellement mais aussi journalistes et étudiants– ont pû assister à la présentation sur place, devant plusieurs grands écrans disposés devant le café Macs, la " cafète " de l'Apple Park, le QG d'Apple. Si vous avez raté le direct, pas de problème, vous pouvez très facilement revoir la vidéo dans sa totalité. Un seul détail manquera : le " Good morning " d'introduction de Tim Cook " en vrai " devant les personnes assemblées. Pour le replay, il suffit de vous rendre sur la page dédiée aux événements sur le site d'Apple (https://www.apple.com/fr/apple-events/) ou tout simplement sur la chaîne Apple sur YouTube (https://www.youtube.com/apple). Prévoyez la boisson et le popcorn, car la vidéo dure 1 heure 45 minutes !

La WWDC ne se limite pas à la keynote d'ouverture. Apple a mis en ligne le programme complet de sa conférence ainsi qu'un site spécial destiné principalement au développeurs – mais ouvert aux curieux et aux passionnés. On y retrouvera des dizaines de vidéo détaillées et les actualités et la documentation concernant les points abordés lors de la conférence. 

WWDC 2024 : les principales nouveautés liées à l'IA

Comme nous l'évoquions plus haut, les premières 75 minutes de la conférence d'ouverture de la WWDC24 ont donc été entièrement consacrées aux nouvelles versions des systèmes d'exploitation iOS 18, iPadOS 18, watchOS 11 et macOS 15 (lire notre article). Présentation pendant laquelle l'expression Intelligence Artificielle n'a jamais été prononcée, Apple préférant utiliser l'expression Apprentissage Machine (en anglais Machine Learning) qu'elle utilisait traditionnellement pour parler de toutes les fonctions "intelligentes" de ses différents OS. Mais cette fois-ci, c'était parce qu'Apple voulait justement réserver la dernière demi-heure de la keynote à toutes les fonctions d'IA qui seront intégrées à tous les niveaux de ses OS. En prenant le temps de nous expliquer qu'IA serait maintenant l'acronyme d'Intelligence Apple. Une fois cela fait, la liste de toutes les nouvelles fonctions d'IA pouvait commencer.

Un Siri enfin intelligent ?

Tout le monde connaît Siri, l'assistant vocal intelligent qu'Apple a lancé… il y a 13 ans. Très impressionnant à l'époque, Siri est loin d'avoir transformé la promesse faite à ce moment-là de pouvoir tenir une conversation avec ses utilisateurs ou tout simplement de vraiment les aider dans leurs tâches au quotidien. La promesse est peut-être enfin en passe d'être tenue grâce aux progrès réalisés par les récents agents conversationnels comme ChatGPT qui nous ont déjà montré qu'ils pouvaient justement engager une conversation cohérente. Le nouveau Siri dopé à l'Intelligence Apple sera capable de comprendre des phrases plus complexes en langage naturel. Dans l'exemple donné pendant la keynote, la présentatrice dit : "Quelles sont les prévisions météo pour demain à Muir Beach, euh, pardon, je voulais dire Muir Woods ?". Et Siri répond correctement à la voix, en montrant également un widget affichant les prévisions pour le bon endroit. Quelques secondes plus tard,  la même présentatrice demande "Crée un évènement pour demain à 9h pour une rando". Et Siri s'exécute en ajoutant un événement au calendrier pour une randonnée à Muir Woods, sans que l'utilisatrice ait besoin de répéter la destination. Siri joue là un véritable rôle d'assistant en comprenant mieux les attentes de l'utilisateur en gardant en mémoire le contexte des différentes demandes.

Des actions guidées par la voix

En plus d'une meilleure compréhension de phrases complexes, Siri sera capables d'agir en fonction des demandes vocales de l'utilisateur mais aussi en fonction d'éléments présents à l'écran. On pourra donc lui demander "Trouve-moi une photo de Julie portant une veste rose pendant notre voyage à Toulouse". Et une fois la photo affichée à l'écran, on pourra ajouter "Rends cette photo plus flashy". Là encore, pas besoin de sélectionner l'image à la main : Siri comprendra qu'il s'agit forcément de celle que l'on voit à l'écran. Plus fort encore, une troisième commande vocale pourra ajouter dans la foulée : "Ajoute cette photo à la note dans laquelle j'ai commencé à rédiger la bio de Julie"'. Et Siri s'occupera d'automatiquement copier la photo, d'ouvrir l'application Notes, de trouver la bonne note et de coller la photo à fin. Pas mal non ?!

Un contexte personnalisé à chaque utilisateur

Grâce aux nouvelles capacités de recherche de Siri, plus besoin de se souvenir dans quelle application se trouve l'information que l'on cherche, qu'elle soit dans un mail, un SMS ou un fichier. Siri crée pour chaque utilisateur un contexte personnalisé en ayant accès à toutes ses informations. Ce qui permettra de pouvoir lui poser des questions floues comme par exemple "Rappelle-moi où je suis censé retrouver mon père pour déjeuner ?". Plus besoin d'aller chercher partout, Siri vous connaît. Cela pose naturellement des questions importantes concernant la protection de nos données et de notre vie privée, auxquelles Apple a pris le temps d'apporter des réponses sans surprise, et c'est une bonne chose (voir plus loin).

Aide à la rédaction

Malgré les immenses progrès promis pour Siri, l'IA d'Apple est loin de se résumer à une amélioration de l'assistant vocal. D'autres nouvelles fonctions viennent saupoudrer tous les systèmes d'Apple. C'est le cas par exemple des outils d'aide à la rédaction accessibles depuis n'importe quelle zone de saisie de texte dans n'importe quelle application : traitement de texte, Mail, SMS, etc. On pourra ainsi sélectionner le texte que l'on est en train de rédiger et demander à l'IA d'effectuer une correction orthographique ou grammaticale, ou même de réécrire le texte dans un style différent, pour l'adapter au destinataire. Autant de fonctions qui sans conteste ne sont pas nouvelles, mais ce qui changent tout c'est la facilité avec laquelle on va pouvoir y accéder. Il y a fort à parier que l'éditeur d'Antidote, un célèbre logiciel de correction linguistique, doit voir ça d'un œil inquiet.

Des résumés de texte à la demande

Un des domaines dans lequel l'intelligence artificielle générative comme chatGPT a toujours brillé, c'est dans sa capacité à résumer rapidement et efficacement tous les types de texte que l'on peut lui soumettre. Apple ne s'y est pas trompé en intégrant également une fonction de résumé à sa panoplie d'outils intelligents. Là aussi il suffira de sélectionner le texte concerné pour obtenir un résumé en quelques phrases ou même sous forme de liste à puces des principaux points abordés. Et on pourra ensuite d'un clic décider si on veut ajouter ce résumer au texte original ou tout simplement le remplacer.

Enregistrement vocal et transcription automatique

Les capacités de traitement du texte sous toutes ses formes ne s'arrêtent pas là. On pourra également enregistrer une conversion directement depuis l'application Notes et obtenir une transcription automatique une fois l'enregistrement terminé pour pouvoir travailler sur le texte. Plus fort encore, on pourra enregistrer les deux correspondants d'une conversation téléphonique et obtenir également une transcription. Il va sans dire qu'il sera impossible de déclencher l'enregistrement sans un informer le correspondant, un message vocal étant automatiquement diffusé pour en informer votre interlocuteur. Un outil qui sera très utile notamment pour les journalistes. Dommage qu'il soit pour l'instant réservé aux anglophones (voir les limitations de l'Intelligence Apple un peu plus loin).

Des informations d'un coup d'œil

Les capacités de résumé intégrées aux systèmes ne se limitent pas au texte. Les outils d'Intelligence Apple pourront aussi aider à faire le tri dans la masse de notifications et dans les multiples messages et courriels que l'on reçoit tous les jours. On pourra par exemple demander à l'application Mail d'effectuer un tri automatique afin de regrouper les courriels considérés comme importants d'un côté, ou encore tous ceux liés à un prochain voyage, ou encore ceux issus de nos différents abonnements à des lettres d'information. Autant de fonctions de tri automatique proposés par GMail depuis des années mais réalisées par Apple en local sur nos appareils (pour tous ceux qui seront compatibles) et pas sur ses serveurs. Une différence essentielle. Quant aux notifications, l'iPhone notamment se chargera de faire le tri pour son utilisateur soit sûr de ne pas rater les plus importantes comme celle envoyée par un conjoint pour aller chercher un enfant à l'école, tout en mettant en arrière-plan d'autres alertes moins pressantes comme l'arrivée de nouvelles publications sur des réseaux sociaux par exemple.

Des emoji à la sauce IA

Certaines trouveront le sujet anecdotique, mais il fera sûrement sensation dans les dîners en ville : l'Intelligence Apple permettra aussi de créer des émoji personnalisés, baptisées par Apple de Genmoji, contraction des mots emoji et générative. Directement depuis le clavier de l'iPhone, il suffira de donner quelques mots de descriptions pour que le système crée quelques exemples de petites images à ajouter ensuite à vos messages. Comme ici celle d'un mignon T-Rex en tutu de danseuse sur une planche de surf. On ne sera donc plus limiter par la collection intégrée au système, aussi riche soit-elle : on pourra tous créer nos propres illustrations. Et n pourra aussi utiliser les photos stockées sur l'iPhone pour demander au système de créer des genmoji à partir de portraits par exemple.

Une nouvelle application de création d'image par l'IA

La création d'image aidée par l'intelligence artificielle va bien au-delà de la création d'emoji. Apple a même créé une nouvelle application baptisée Image Playground, que l'on pourrait traduire par Terrain de jeu pour l'image, spécifiquement  pour aider et guider à la création d'illustration. contrairement aux outils habituels de création d'images par IA comme Dall-E ou MidJourney, Image Playground guide l'utilisateur pas à pas en faisant d'abord choisir un thème, un lieu, un vêtement, etc. Ensuite, à l'aide de quelques mots-clés qui seront soit suggérés soit entrés par l'utilisateur, on verra apparaître au bout de quelques secondes des concepts d'images, que l'on pourra faire évoluer à loisir.

Plus complet encore, l'outil de création d'image étant intégré directement au système, il pourra s'appuyer sur un texte que l'on sera en train de rédiger dans Mail ou dans l'appli Messages pour créer un illustration à ajouter à un paragraphe. Et sur iPad, on pourra aussi dessiner un croquis avec le stylet, entourer le croquis toujours à l'aide de l'Apple Pencil et demander à l'IA de créer une illustration à partir des quelques traits que l'on aura tracés.

Nouveaux outils de retouche et de recherche d'images

L'applications Photos des iPhone, iPad et Mac va enfin intégrer des outils de retouche basés sur l'iA qui lui faisait cruellement défaut face à la concurrence. C'est le cas par exemple de l'outil de Nettoyage, en anglais Clean Up, qui va se charger d'effacer des objets ou des personnages indésirables de nos photos de vacances. Exactement comme la Gomme Magique que Google propose depuis plusieurs années notamment.

L'Intelligence Apple permettra également de plus facilement trouver une photo ou une collection de photos grâce à la recherche en langage naturel. Et l'IA sera même capable de trouver une séquence spécifique à l'intérieur d'une vidéo.

Quels risques pour la vie privée avec l'IA d'Apple ?

Apple a bien conscience que de telles possibilités ont de quoi faire peur. Car pour être efficace, qu'il soit humain ou numérique, un assistant a besoin d'en savoir beaucoup sur nous. C'est pourquoi la firme à la Pomme a beaucoup insisté pendant la présentation sur le fait qu'une grande partie des fonctions décrite ci-dessus étaient réalisées en local, directement sur l'appareil. Une performance quand on sait à quel point ce genre de capacités peut être gourmand en ressources, aussi bien en puissance de calcul qu'en dépense énergétique. Et lorsqu'il s'agira de demandes trop complexes, les requêtes seront envoyées sur des serveurs directement gérés par Apple, suivant la recette bien connue de la firme de Cupertino : les données personnelles ne seront jamais accessibles par Apple. C'est la promesse habituelle qu'Apple a toujours tenu jusqu'à maintenant.

Apple Intelligence réservée aux appareils les plus puissants

Cela dit, pour assurer le traitement local de ces fonctions d'IA si gourmandes en ressources, Apple a dû faire quelques compromis. Et notamment au niveau des appareils qui seront capables de les faire tourner. Côté Max, la gamme est plutôt large puisque tous les Mac portables ou de bureau équipés d'une puce M1 ou supérieure seront compatibles. Exit donc les Mac à processeurs Intel, mais on peut saluer la capacité d'Apple à donner ces nouvelles capacités à des machines datant de 2020 comme c'est le cas des premiers Mac mini ou du Macbook Air équipés des puces Apple Silicon. Côté iPhone, en revanche, la douche est un peu froide, car il faudra disposer au moins d'un iPhone 15 Pro ou Pro Max, c'est-à-dire ceux équipés d'une puce A17 Pro, soit le haut de gamme au catalogue actuel d'Apple. Ç a fait cher le ticket d'entrée dans le monde de l'Intelligence Apple.

Quand les nouvelles fonctions d'IA d'Apple seront-elles disponibles ?

Une partie des fonctions présentées par Apple pendant la keynote sera disponible pour le grand public en septembre, à la sortie des premières versions finales d'iOS 18, iPadOS 18 et macOS 15. Mais une partie seulement car Apple a plusieurs fois fait mention d'une arrivée "plus tard dans l'année" pour certaines d'entre elles, pas toujours mentionnées avec précision d'ailleurs. De là à penser qu'Apple a eu du mal à rattraper son retard il n'y a qu'un pas… que l'on franchit allègrement tellement la keynote du 10 juin semblait marquée par une volonté d'Apple de dire au monde "regardez, nous aussi nous savons faire de l'IA !". Et, attention, toutes les fonctions concernant aussi bien Siri que celles touchant à la manipulation des textes (réécriture et résumé) ne seront de toutes façons disponibles qu'en anglais au début, sans que l'on sache à quelle date d'autres langues seront proposées. Autant dire que l'on a encore le temps de voir venir.

On a l'habitude de voir Apple intégrer avec grâce et efficacité des fonctions complexes au sein de tous ses systèmes, et les démonstrations de la keynote de la WWDC 2024 ne font pas exception. Mais on a aussi vu pendant l'événement qu'Apple semblait incapable de montrer quelque chose de vraiment nouveau que nous n'aurions jamais vu ailleurs. Et la clé de voûte de cette démonstration est sans conteste le partenariat officiellement annoncé avec OpenAI pour offrir ChatGPT à tous les utilisateurs d'appareils Apple dès que Siri ne sera pas capable de répondre avec suffisamment de précision. L'accès à ChatGPT semble bien intégré, soit, mais Apple se voit donc dans l'obligation de déléguer à un partenaire une partie majeures des interactions de ses utilisateurs avec l'IA. Cela dit, il y a fort à parier que nous ne sommes qu'au début d'une évolution majeure de nos usages et Apple, comme souvent, montre le bon chemin à suivre en promettant une intégration poussée de nouvelles fonctions, basées sur l'IA certes, mais surtout en proposant des usages pratiques au quotidien tout en respectant nos données et notre vie privée. Ce qui manque cruellement à ses concurrents.