Apple : Arrêtez de polémiquer, le nouvel « iPhone » à l’ère de l’IA reste l’iPhone

Dans la course aux armements en matière d’IA, Apple n’est en fait pas « en retard ».

Écrit par : Lian Ran

Editeur : Jing Yu

**Source : **Geek Park

Tout le monde veut savoir, dans l’ère de l’IA qui s’annonce, qui deviendra le nouvel « iPhone » ?

Il est très probable que « l’iPhone » à l’ère de l’IA sera toujours « l’iPhone ».

Un article récent montre que les chercheurs d’Apple ont résolu le problème clé du déploiement de grands modèles sur des appareils dotés de mémoire limitée en créant un modèle de coût d’inférence coordonné avec le comportement de la mémoire flash pour guider l’optimisation dans deux domaines clés : Réduire la quantité de données transférées depuis le flash. mémoire et lire les données dans des blocs plus grands et plus contigus.

En conséquence, l’applicabilité et l’accessibilité des grands modèles sont élargies, et le projet d’Apple visant à intégrer l’IA générative dans iOS 18 pourrait également être accéléré.

Au cours de l’année écoulée, depuis que ChatGPT a été lancé pour la première fois au public en novembre 2022 et que le monde est entré dans l’engouement pour l’intelligence artificielle générative, Apple, en tant que plus grande entreprise technologique au monde, a accordé une attention particulière au développement technologique le plus important du passé. décennie - intelligence artificielle générative. L’intelligence artificielle est rarement évoquée de manière positive.

Apple Inc. | Source : support

Le monde extérieur peut penser que la configuration d’Apple dans le domaine de l’intelligence artificielle est relativement arriérée, mais une série de tendances montrent qu’Apple l’a déjà déployée, mais ne l’a pas officiellement rendue publique.

Depuis 2023, Apple a accéléré le développement d’une technologie d’intelligence artificielle indépendante. Apple a non seulement mis en place une équipe d’IA dédiée pour développer des modèles de langage à grande échelle, mais applique également vigoureusement les technologies de reconnaissance vocale, d’image et autres du côté des produits ; auparavant, des dizaines de fusions et d’acquisitions ont jeté les bases techniques d’Apple, en particulier derrière l’assistant vocal Siri Son accumulation technologique lui confère un avantage dans des domaines tels que l’interaction vocale ; et avec 2 milliards d’appareils actifs en main, Apple devrait devenir l’acteur numéro un dans le domaine des applications grand public d’IA.

Les changements les plus évidents ont commencé à partir de la conférence « Scary Fast » fin octobre. Lors de cette conférence, Apple a présenté le M3 Pro, qui est 40 % plus rapide que le M3, et le M3 Max, qui est 250 % plus rapide. Il a également souligné que le M3 Max avec un processeur à 16 cœurs et un GPU à 40 cœurs sera utilisé pour développer des logiciels d’IA. Dans le même temps, Apple a clairement positionné le nouveau MacBook Pro comme un outil permettant aux développeurs de créer des produits d’IA.

L’émergence de puces super puissantes prenant en charge l’IA a jeté les bases de l’explosion de l’IA d’Apple. Mais en réalité, l’accumulation d’Apple dans l’IA est bien plus importante que celle de tout autre géant.

01 Pomme “Soyez prêt”

Selon les rumeurs, un milliard de dollars par an serait le chiffre d’investissement pour le plan IA d’Apple.

Selon Bloomberg, en juillet 2023, Apple a construit son propre modèle de langage Ajax à grande échelle et a lancé un chatbot interne nommé « Apple GPT » pour tester les fonctions Ajax. La prochaine étape clé consiste à déterminer si la technologie répond aux normes concurrentielles et comment Apple la mettra en œuvre dans les produits existants.

Où est passé tout ce milliard de dollars ?

Dépensez beaucoup d’argent pour constituer une équipe d’IA

John Giannandrea et Craig Federighi, vice-présidents senior de l’intelligence artificielle et de l’ingénierie logicielle d’Apple, dirigent ces efforts. Au sein de l’équipe de Cook, ils sont connus comme les « sponsors exécutifs » qui conduisent les projets d’IA générative. Il semblerait qu’Eddy Cue, vice-président senior des services d’Apple, soit également impliqué. Les trois personnes ci-dessus peuvent actuellement dépenser environ 1 milliard de dollars sur le projet chaque année.

John Giannandrea ｜Source de l’image : pomme

Le recrutement et la construction de l’équipe IA en dehors de l’équipe principale sont en cours depuis fin avril. À l’époque, plus d’une douzaine d’annonces sur la page d’emploi recherchaient des experts en apprentissage automatique dans le domaine de l’intelligence artificielle générative « passionnés par la construction de systèmes autonomes extraordinaires. » Les postes étaient répartis dans plusieurs équipes de San Diego, dans la baie de San Francisco. Area et Seattle, y compris l’équipe d’expérience du système d’intégration, l’équipe d’expérience de saisie NLP, l’équipe de R&D d’apprentissage automatique et l’équipe de développement technologique.

Certains postes se concentrent spécifiquement sur les applications d’intelligence artificielle génératrice de vision, les candidats travaillant sur « la modélisation générative visuelle pour prendre en charge des applications telles que la photographie informatique, l’édition d’images et de vidéos, la reconstruction de formes et de mouvements 3D et la génération d’avatars ».

Des informations ont été rapportées en septembre selon lesquelles Apple recrutait activement des talents parmi les équipes d’intelligence artificielle de Google et de Meta Platforms. Depuis qu’AXLearn a été téléchargé sur GitHub en juillet de cette année, 7 des 18 personnes qui y ont contribué ont travaillé chez Google ou Meta.

En fait, Giannandrea et Ruoming Pang, experts dans le domaine des réseaux neuronaux, sont tous deux issus de Google. Giannandrea a développé des systèmes avancés d’intelligence artificielle au cours de ses 8 années chez Google. Giannandrea et Pang ont persuadé Apple d’utiliser Google Cloud, notamment en utilisant Google. Puce Zhang.Processing Unit (TPU) personnalisée de Cloud pour la formation en apprentissage automatique. AXLearn, un framework d’apprentissage automatique développé pour la formation Ajax GPT, est basé en partie sur les recherches de Pang.

Dans les informations de recrutement d’octobre, les besoins en talents d’Apple en matière d’intelligence artificielle générative sont devenus plus clairs. Par exemple, une description de poste sur la plate-forme App Store se lit comme suit : "La société développe une plate-forme d’expérience de développement basée sur l’intelligence artificielle générative, à usage interne. et pour aider nos équipes de développement d’applications. “Résumé, questions et réponses” apparaît également dans les informations de recrutement d’Apple.

Dans d’autres offres d’emploi dans le domaine de l’intelligence artificielle/apprentissage automatique d’Apple, certains postes soulignent l’importance des modèles de base et citent les « agents conversationnels de type humain » comme exemples d’applications pouvant être développées à l’aide de ces modèles. Dans le même temps, Apple a également publié certaines exigences de travail impliquant des départements tels que Siri Information Intelligence, responsable de la gestion des fonctions de produits tels que Siri et la recherche Spotlight. De plus, Apple recherche activement des talents capables de mettre en œuvre des calculs de modèles sur des appareils locaux.

Accélérer la recherche et le développement de technologies sous-jacentes

Outre le talent, les préparatifs techniques sont également en cours. Giannandrea superviserait le développement de la technologie sous-jacente au nouveau système d’intelligence artificielle, et son équipe réorganise Siri pour le mettre en œuvre davantage. Une version plus intelligente de Siri pourrait être disponible dès l’année prochaine.

En termes de logiciels, Federighi dirige le développement de la nouvelle intelligence artificielle iOS, et l’expérience des applications, notamment iMessage et Siri, sera améliorée. Apple aurait publié une directive visant à ajouter à iOS des fonctionnalités fonctionnant sur de grands modèles de langage, qui utiliseront de grandes quantités de données pour améliorer les capacités de l’intelligence artificielle. Les nouvelles fonctionnalités amélioreront les problèmes de traitement des applications Siri et Messages et la complétion automatique des phrases. .

Système Apple iOS 17｜Source de l’image : pomme

Les équipes d’ingénierie logicielle envisagent également d’intégrer l’IA générative dans des outils de développement tels que Xcode, une démarche qui pourrait aider les développeurs d’applications à écrire de nouvelles applications plus rapidement. Cela le rapprocherait de services tels que GitHub Copilot de Microsoft, qui fournit des suggestions de saisie semi-automatique aux développeurs lorsqu’ils écrivent du code.

Eddy Cue s’efforce d’ajouter l’intelligence artificielle à autant d’applications que possible, notamment Apple Music, Pages, Keynote, etc., comme l’exploration de la musique pour générer automatiquement des listes de lecture. Plus tôt cette année, Spotify s’est associé à OpenAI pour lancer une telle fonctionnalité ; Comment Utilisez l’IA générative pour aider les gens à écrire dans des applications telles que Pages ou à créer automatiquement des diaporamas dans Keynote (similaires aux applications Word et PowerPoint déjà proposées par Microsoft). Apple teste également l’intelligence artificielle générative pour les applications de service client interne de son équipe AppleCare.

“iPhone” sur le grand modèle

Cependant, la question de savoir si l’intelligence artificielle générative doit être déployée sur l’appareil, en fonction des paramètres du cloud, ou s’exécuter entre les deux, semble être indécise : l’exécution sur l’appareil est sans aucun doute plus rapide et est également propice à la protection de la vie privée des utilisateurs. mais Grâce au déploiement dans le cloud, le grand modèle linguistique d’Apple peut réaliser des opérations plus complexes et sophistiquées. Les deux options présentent des avantages et des inconvénients, et Apple tente de trouver un équilibre entre l’informatique locale et l’informatique en nuage.

Selon certains rapports, Apple proposera une combinaison d’IA basée sur le cloud et d’IA traitée sur l’appareil. Cependant, plusieurs anciens ingénieurs en apprentissage automatique d’Apple ont déclaré que les dirigeants d’Apple préféraient exécuter des logiciels sur des appareils plutôt que sur des serveurs cloud dans le but d’améliorer la confidentialité et les performances.

Giannandrea, vice-président senior L’un des principes de base du développement de l’intelligence artificielle d’Apple est le respect de la vie privée. Il a déclaré un jour dans une interview : « Je comprends que plus le modèle dans le centre de données est grand, plus il sera précis, mais il est préférable d’exécuter le modèle à proximité des données plutôt que de déplacer les données. »

Toutefois, cela peut être très difficile à mettre en œuvre. Certains analystes affirment qu’en prenant Ajax GPT comme exemple, il a été formé sur plus de 200 milliards de paramètres. Les paramètres reflètent la taille et la complexité du modèle d’apprentissage automatique : plus le nombre de paramètres est élevé, plus la complexité est élevée et plus l’espace de stockage et la puissance de calcul requis sont importants. Un LLM avec plus de 200 milliards de paramètres ne peut pas être raisonnablement placé sur un iPhone.

Mais les dernières nouvelles montrent qu’Apple a peut-être pris une décision terminale. Récemment, Apple a publié un document de recherche montrant qu’il a trouvé un moyen d’exécuter de grands modèles sur l’iPhone, « Créer un modèle de coût d’inférence coordonné avec le comportement de la mémoire flash pour guider l’optimisation dans deux domaines clés : réduire les données transférées depuis la mémoire flash. volume et lire les données en morceaux plus grands et plus contigus.

Le document indique que la nouvelle technologie permet aux grands modèles de fonctionner 25 fois plus rapidement sur des appareils dotés d’une mémoire limitée, ce qui signifie que les modèles d’IA complexes qui ne pouvaient pas fonctionner sur de petits appareils en raison de contraintes de ressources pourront bientôt fonctionner sur les iPhones et les iPads. Attendez qu’il s’exécute sur les appareils mobiles grand public.

02 Acheteur numéro un de l’IA : « Dépenser une petite somme d’argent pour faire de grandes choses »

Bien que le monde extérieur perçoive Apple comme étant plus lent que d’autres géants à déployer des technologies de pointe telles que l’IA générative, Apple a également sa propre confiance dans le domaine de l’IA.

Le cabinet de recherche PitchBook, qui a suivi les multiples acquisitions d’Apple en matière d’intelligence artificielle, a conclu qu’Apple se concentre sur l’acquisition d’équipes de talents dans divers domaines, capables d’appliquer la technologie d’apprentissage automatique à des produits de consommation spécifiques. On peut constater que la stratégie d’acquisition d’Apple se concentre principalement sur les applications grand public de l’intelligence artificielle, mais comprend également le déploiement de l’apprentissage automatique et la technologie d’exploitation pour les appareils de pointe, ainsi que des paris limités sur l’apprentissage profond et les technologies plus horizontales.

Selon les statistiques, depuis l’acquisition de Siri en 2010, Apple a acquis plus de 30 startups d’IA en 10 ans, dont Shazam, primeSense, Turi, Lattice Data, Xnor.ai et cinq autres sociétés, avec des montants d’acquisition inférieurs à 2. Cent millions de dollars américains. Depuis 2017, Apple a acquis 21 startups d’intelligence artificielle, soit près de deux fois le nombre d’acquisitions par Microsoft et Meta, et peut être qualifiée de « premier acheteur d’IA ». À partir de 2021, le rythme d’acquisition de sociétés d’IA par Apple semble s’être ralenti, mais l’entreprise a quand même acquis des start-ups d’IA telles que Curious AI, AI Music et WaveOne.

Statistiques incomplètes des acquisitions d’Apple dans le domaine de l’IA de 2010 à nos jours｜Geek Park

Globalement, la stratégie d’acquisition d’Apple dans le domaine de l’IA peut se résumer à « dépenser un peu d’argent pour faire de grandes choses ». Apple réalise rarement des fusions et acquisitions à grande échelle, et ses cibles d’acquisition sont généralement des start-ups dont les technologies peuvent être étroitement intégrées aux produits et services existants et contribuer à améliorer la construction écologique. Lorsqu’Apple acquiert une entreprise, la principale considération est souvent de savoir comment la technologie de l’entreprise peut être mieux intégrée dans les projets développés par Apple.

Dans l’ensemble, les montants des transactions pour les acquisitions par Apple de ces sociétés sont généralement faibles, et les orientations techniques de ces dernières couvrent principalement la reconnaissance vocale et la conversation, suivies de la reconnaissance faciale et de la reconnaissance d’image. En termes de mise en œuvre, ces technologies acquises prennent en charge de nombreuses technologies Apple existantes. des produits et services tels que l’amélioration de l’assistant vocal Siri, la prise en charge de la reconnaissance faciale Face ID, l’optimisation des applications d’image, l’amélioration des fonctions des services de musique et l’amélioration de la précision des prévisions météorologiques.

De nombreuses acquisitions d’Apple semblent viser à améliorer Siri, ce qui montre la position importante de Siri dans les systèmes Apple. Par exemple, l’acquisition d’Inductiv visait à améliorer les données de Siri, l’acquisition de Voysis devait améliorer la compréhension du langage naturel de Siri et l’acquisition de PullString visait à permettre aux développeurs iOS d’utiliser plus facilement les fonctions Siri dans leurs applications.

Certaines acquisitions visent également de futurs produits : par exemple, Apple a acquis la startup autonome Drive.ai en 2019, éventuellement pour promouvoir le développement de son projet de voiture autonome. Apple ne divulgue pas toutes les informations sur l’acquisition, il peut donc y avoir d’autres sociétés d’intelligence artificielle acquises par Apple qui ne sont pas connues.

03 L’IA est intégrée depuis longtemps aux systèmes Apple

Outre de nombreuses fusions et acquisitions, le développement de l’IA par Apple remonte à de nombreuses années. Du lancement du Knowledge Navigator en 1987 au lancement du projet de reconnaissance vocale en 1990, en passant par le lancement de Siri en 2011 en tant que premier assistant vocal grand public, Apple a en fait montré très tôt son exploration de l’IA, mais cela a toujours été le cas. relativement discret.

Historiquement, Apple n’a pas été le premier à lancer de nouvelles technologies, en particulier des technologies qui n’ont pas été éprouvées par les consommateurs. Par exemple, peu de temps après le lancement du lecteur MP3, les perspectives du marché ont été vérifiées, mais Apple n’est pas entré sur le marché immédiatement, mais n’a rejoint le marché qu’après avoir identifié une solution supérieure telle que l’iPod.

Il en va de même dans le domaine des téléphones mobiles : bien que d’autres sociétés aient lancé les smartphones très tôt, Apple a choisi d’entrer sur le marché en 2007 seulement après s’être assuré qu’il pouvait offrir une excellente expérience client. De même, bien que les tablettes existent depuis 1989, cette catégorie de produits n’a pas réussi à gagner du terrain jusqu’à ce qu’Apple lance l’iPad.

Apple a toujours donné la priorité à l’expérience du consommateur et attend généralement que la technologie mûrisse avant de la commercialiser officiellement. Cette stratégie prudente évite le risque d’une technologie instable à un stade précoce et permet également à Apple de mieux saisir les opportunités du marché et de lancer des produits plus matures et plus performants. aller au-delà des attentes.

Par conséquent, Apple devrait suivre le même chemin pour les produits similaires à ChatGPT : il ne les lancera pas à la hâte avant d’être prêt. Autrement dit, tout en conservant un sentiment de mystère, Apple devrait éventuellement lancer des produits d’IA matures à sa manière.

En fait, il existe déjà de nombreuses applications d’apprentissage automatique/IA dans les produits Apple existants :

Traitement d’image

Apple utilise la technologie d’apprentissage automatique pour optimiser les photos prises par l’appareil photo de l’iPhone, notamment Deep Fusion pour réduire le bruit de l’image et les outils du mode portrait de l’iPhone 15.

L’iPhone 15 peut détecter s’il y a des personnes sur l’image et capturer automatiquement des informations riches en profondeur｜Source de l’image : Apple

• Recherche visuelle - L’apprentissage automatique renforce la capacité de l’iPhone à détecter le contenu des photos.
• L’appareil photo amélioré de l’iPhone 15 peut utiliser l’apprentissage automatique pour faire la distinction entre les personnes et les animaux sur la photo. *Portrait numérique : la partie dans laquelle la lentille frontale Apple Vision Pro scanne les informations sur le visage est “l’avatar numérique” généré par Apple pour l’utilisateur sur la base de la technologie d’apprentissage automatique.

Traitement de la parole

• Synthèse vocale personnelle, transcription vocale en temps réel : l’iPhone 15 prend en charge la parole personnelle, qui permet aux utilisateurs de synthétiser une voix similaire à la leur pour prononcer le texte qu’ils tapent dans FaceTime et lors des appels téléphoniques, ainsi que la messagerie vocale en direct, avec une voix en temps réel. transcription des messages.

Moteurs de recherche et systèmes de suggestions

• Recherche Spotlight : la recherche Spotlight et la recherche sur le système d’exploitation iOS sont alimentées par l’intelligence artificielle.
• Suggestions Siri : lorsque l’iPhone propose des suggestions, telles que l’envoi d’un message d’anniversaire ou l’ajout d’un événement de Mail à votre calendrier, ce sont des algorithmes d’apprentissage automatique qui les sous-tendent.
• Méthode de saisie : basée sur l’apprentissage automatique côté appareil, la méthode de saisie peut automatiquement améliorer le modèle en fonction de la saisie de chaque utilisateur. De plus, sur la base du modèle de langage Transformer de prédiction de mots plus avancé, la méthode de saisie peut mieux comprendre les habitudes linguistiques de l’utilisateur. et améliorer considérablement la précision de la saisie.Sexe, etc.
• Correction automatique : le système de correction automatique d’Apple et les options de suggestion de mots sont optimisés par l’apprentissage automatique.

Surveillance de la santé

• ECG : la fonction ECG de l’Apple Watch peut afficher les données de rythme cardiaque pour déterminer si l’utilisateur souffre d’une fibrillation auriculaire.
• Détection de collision et détection de chute - Grâce à l’apprentissage automatique, les appareils Apple peuvent déterminer si l’utilisateur est entré en collision ou est tombé en fonction des informations collectées par divers capteurs.
• (Apple Watch Series 9 et Ultra 2 - IA intégrée dans la fonctionnalité double-clic pour des tâches plus faciles, un affichage plus lumineux, un Siri plus intelligent et une surveillance avancée de l’état.)

Une autre application possible concerne les voitures : le projet Titan d’Apple, un projet de voiture autonome. Bien que le projet secret s’appelle Apple Car, il n’est toujours pas certain qu’Apple lancera réellement une voiture.

Selon certaines informations, le système autonome développé dans le cadre du projet Titan nécessite un cerveau, et c’est là qu’intervient l’intelligence artificielle d’Apple. De nombreuses technologies introduites pour Apple Vision Pro pourraient également jouer un rôle important dans les projets automobiles après amplification.

Pour le moteur neuronal avancé d’Apple, il est difficile pour le système de se coordonner en temps réel, de détecter des objets, de comprendre les commandes de l’utilisateur et de générer des commentaires en même temps. Cependant, un rapport de 2021 a montré qu’Apple avait terminé une telle puce et commencerait les tests.

Ensuite, l’application de l’IA dans les produits Apple devrait continuer à innover dans des aspects tels que le traitement des images, les recommandations de recherche et la perception de l’environnement. Cependant, il existe une possible faille potentielle dans son écosystème, c’est-à-dire qu’Apple insiste sur la confidentialité des données et la conception des produits, ce qui peut limiter sa vitesse de déploiement dans des technologies de pointe telles que l’IA générative, tout comme le public le perçoit désormais comme " lent" “Un pas” est la même chose.

Mais ceux-ci ne peuvent toujours pas occulter l’énorme potentiel de développement d’Apple dans le domaine de l’IA, qui repose principalement sur les trois facteurs suivants :

D’une part, Apple compte plus de 2 milliards d’appareils exécutant le système d’exploitation iOS dans le monde, ce qui constitue une énorme base d’utilisateurs pour son futur développement d’applications d’IA. Selon Luca Maestri, directeur financier d’Apple, en février 2023, la base installée d’appareils actifs d’Apple a dépassé la barre des 2 milliards et, à la fin du trimestre de juin, elle a atteint “dans toutes les régions. Tous les segments de marché ont atteint des niveaux records”.

D’autre part, l’assistant vocal Siri d’Apple traite 25 milliards de requêtes par mois, reflétant la forte demande des consommateurs pour des outils d’IA tels que les assistants vocaux. Si Apple parvient à lancer des produits similaires à ChatGPT à l’avenir, l’ampleur des données d’IA et des interactions de ses consommateurs sera énorme.

Ce qu’on ne peut ignorer, c’est que le nombre d’abonnés payants Apple augmente rapidement, dépassant la barre du milliard et maintenant une croissance à deux chiffres. Dans le rapport financier du troisième trimestre d’août 2023, le PDG d’Apple, Cook, a souligné que “les revenus d’Apple dans le domaine des services ont atteint un niveau record” et que “les abonnements payants dépassaient le milliard et connaissaient une croissance à deux chiffres”. a jeté une base solide pour qu’Apple puisse réaliser une croissance de ses revenus grâce aux applications d’IA. S’appuyant sur une base d’utilisateurs aussi large, Apple dispose d’une large marge de croissance sur le marché de l’IA grand public.

En outre, Apple investit massivement dans les serveurs d’intelligence artificielle et prévoit d’en construire des centaines d’autres en 2024 pour se préparer à la prochaine ère de l’intelligence artificielle. À l’avenir, Apple a encore un grand potentiel pour devenir la plateforme numéro un pour les applications d’IA grand public.

Référence :

1. Dans le cadre du grand projet d’Apple visant à intégrer l’IA générative sur tous ses appareils, Bloomberg

2. Apple est peut-être discret sur l’IA, mais c’est aussi le plus gros acheteur d’entreprises d’IA, quartz

3. Apple augmente ses dépenses pour développer l’IA conversationnelle, l’information

4. LLM en un éclair : inférence efficace de grands modèles de langage avec une mémoire limitée