Apple: Припиніть сперечатися, новий «iPhone» в епоху AI все ще залишається iPhone

У гонці AI озброєнь Apple насправді не «запізнюється».

Автор: Ліан Ран

Редактор: Цзін Юй

**Джерело: **Geek Park

Усі хочуть знати, хто стане новим «iPhone» у епоху штучного інтелекту, яка, здавалося б, наближається?

Цілком імовірно, що «iPhone» в епоху AI все ще буде «iPhone».

Недавня стаття показує, що дослідники Apple вирішили ключову проблему розгортання великих моделей на пристроях з обмеженою пам’яттю, побудувавши модель вартості висновку, яка координується з поведінкою флеш-пам’яті, щоб керувати оптимізацією у двох ключових областях: Зменшення обсягу даних, що передаються з флеш-пам’яті. пам’яті та зчитування даних у більших, більш суміжних блоках.

В результаті застосовність і доступність великих моделей розширюються, а план Apple щодо інтеграції генеративного штучного інтелекту в iOS 18 також може бути прискорений.

Минулого року, після того, як ChatGPT було вперше запущено для громадськості в листопаді 2022 року, і світ увійшов у повне захоплення генеративним штучним інтелектом, Apple, як найбільша технологічна компанія у світі, приділила пильну увагу найважливішим технологічним розробкам минулого десятиліття - генеративний штучний інтелект Про штучний інтелект рідко згадують позитивно.

Apple Inc. | Джерело: середній

Зовнішній світ може вважати, що плани Apple у сфері штучного інтелекту є відносно відсталими, але низка тенденцій показує, що Apple вже розгорнула його, але офіційно не оприлюднила.

З 2023 року Apple прискорила розвиток незалежної технології штучного інтелекту. Apple не лише створила спеціальну команду штучного інтелекту для розробки широкомасштабних мовних моделей, але й активно застосовує технології розпізнавання мови, зображень та інших технологій на стороні продукту; раніше десятки злиттів і поглинань заклали технічну основу для Apple, особливо позаду голосового помічника Siri Її технологічне накопичення дає їй перевагу в таких сферах, як голосова взаємодія; і, маючи в своєму розпорядженні 2 мільярди активних пристроїв, очікується, що Apple стане гравцем номер один у сфері споживчих додатків ШІ.

Більш очевидні зміни почалися з конференції «Страшний піст» наприкінці жовтня. На цій конференції Apple випустила M3 Pro, який на 40% швидший за M3, і M3 Max, який на 250% швидший.Вона також підкреслила, що M3 Max з 16-ядерним процесором і 40-ядерним графічним процесором буде використовується для розробки програмного забезпечення ШІ. У той же час Apple чітко позиціонує новий MacBook Pro як інструмент для розробників для створення продуктів AI.

Поява надпотужних чіпів, які підтримують ШІ, заклала основу для вибуху ШІ від Apple. Але насправді накопичення Apple у сфері штучного інтелекту набагато глибше, ніж будь-який інший гігант.

01 Яблуко «Будьте готові»

Один мільярд доларів США на рік — це, за чутками, сума інвестицій у план Apple щодо штучного інтелекту.

Як повідомляє Bloomberg, у липні 2023 року Apple створила власну масштабну мовну модель Ajax і запустила внутрішній чат-бот під кодовою назвою «Apple GPT» для тестування функцій Ajax. Ключовим наступним кроком є визначення того, чи відповідає технологія конкурентним стандартам і як Apple впровадить її в існуючі продукти.

Куди подівся весь цей мільярд доларів?

Витратьте багато грошей, щоб створити команду ШІ

Джон Джаннандреа та Крейг Федерігі, старші віце-президенти Apple із штучного інтелекту та розробки програмного забезпечення, очолюють ці зусилля. У команді Кука вони відомі як «виконавчі спонсори», які керують проектами генеративного ШІ. Повідомляється, що Едді Кью, старший віце-президент Apple з послуг, також бере участь.Вищевказані троє людей наразі можуть витрачати на проект близько 1 мільярда доларів щороку.

Джон Джаннандреа｜Джерело зображення: apple

Набір і створення команди штучного інтелекту поза основною командою триває з кінця квітня. Більше десятка оголошень на сторінці вакансій у той час шукали експертів з машинного навчання в галузі генеративного штучного інтелекту, «які захоплюються створенням надзвичайних автономних систем». Area та Сіетлі, включаючи команду досвіду системи інтеграції, команду досвіду введення NLP, команду науково-дослідницьких робіт машинного навчання та команду розробки технологій.

Деякі посади спеціально зосереджені на додатках штучного інтелекту, що генерують зір, а кандидати працюють над «візуальним генеративним моделюванням для підтримки таких програм, як обчислювальна фотографія, редагування зображень і відео, 3D-реконструкція форми та руху та генерація аватарів».

У вересні з’явилися повідомлення про те, що Apple активно набирає талантів у команди штучного інтелекту Google і Meta Platforms. Відколи AXLearn було завантажено на GitHub у липні цього року, 7 із 18 людей, які зробили внесок у нього, працювали в Google або Meta.

Насправді Джаннандреа та Руомінг Панг, експерт у галузі нейронних мереж, прийшли з Google. Джаннандреа розробляв передові системи штучного інтелекту протягом 8 років роботи в Google. Джаннандреа та Панг переконали Apple використовувати Google Cloud, особливо за допомогою Google Спеціальний процесор Zhang.Cloud (TPU) для навчання машинному навчанню. AXLearn, платформа машинного навчання, розроблена для навчання Ajax GPT, частково базується на дослідженнях Панга.

У жовтневій інформації про набір кадрів вимоги Apple до кадрів для генеративного штучного інтелекту стали більш чіткими. Наприклад, в описі посади на платформі App Store сказано: «Компанія розробляє платформу досвіду розробників на основі генеративного штучного інтелекту., для внутрішнього використання. і допомагати нашим командам розробників додатків". В іншому дописі у відділі роздрібної торгівлі згадується, що Apple розробляє “розмовну платформу штучного інтелекту (голос і чат)” для взаємодії з клієнтами, "генерування довгого тексту, завдання створення технології генерування тексту, такої як «резюме, запитання та відповідь» також з’являється в інформації про наймання Apple.

В інших вакансіях у сфері штучного інтелекту/машинного навчання Apple деякі посади підкреслюють важливість базових моделей і перераховують «людиноподібних розмовних агентів» як приклади додатків, які можна розробити за допомогою цих моделей. У той же час Apple також оприлюднила деякі вимоги до посад, що стосуються таких відділів, як Siri Information Intelligence, який відповідає за роботу з функціями таких продуктів, як Siri та пошук Spotlight. Крім того, Apple активно шукає талантів, які зможуть реалізувати модельні розрахунки на локальних пристроях.

Прискорити дослідження та розробку базових технологій

Крім таланту, триває і технічна підготовка. Повідомляється, що Джаннандреа контролює розробку технології, що лежить в основі нової системи штучного інтелекту, і його команда переробляє Siri для подальшого її впровадження. Розумніша версія Siri може бути доступна вже наступного року.

Що стосується програмного забезпечення, Federighi очолює розробку нової системи штучного інтелекту iOS, і досвід додатків, включаючи iMessage та Siri, буде покращено. Кажуть, що Apple випустила директиву про додавання функціональності в iOS, яка працює на великих мовних моделях, які використовуватимуть великі обсяги даних для покращення можливостей штучного інтелекту.Нові функції покращать проблеми з обробкою додатків Siri та Messages та автоматичне завершення речень. .

Система Apple iOS 17｜Джерело зображення: apple

Команди розробників програмного забезпечення також розглядають інтеграцію генеративного штучного інтелекту в такі інструменти розробки, як Xcode, що може допомогти розробникам програм швидше створювати нові програми. Це приведе його у відповідність із такими службами, як GitHub Copilot від Microsoft, який надає розробникам пропозиції щодо автозаповнення під час написання коду.

Eddy Cue наполягає на додаванні штучного інтелекту до якомога більшої кількості додатків, включаючи Apple Music, Pages, Keynote тощо, таких як дослідження музики для автоматичного створення списків відтворення. Раніше цього року Spotify у партнерстві з OpenAI запустили таку функцію; вивчення як використовувати генеративний штучний інтелект, щоб допомогти людям писати в таких програмах, як Pages, або автоматично створювати слайд-шоу в Keynote (подібно до програм Word і PowerPoint, які вже є у Microsoft). Apple також тестує генеративний штучний інтелект для внутрішніх програм обслуговування клієнтів для своєї команди AppleCare.

“Айфон” на великій моделі

Однак, чи варто розгортати генеративний штучний інтелект на пристрої на основі налаштувань хмари чи працювати між ними, здається, ще не вирішили: робота на пристрої, безсумнівно, швидше, а також сприяє захисту конфіденційності користувачів, але завдяки хмарному розгортанню велика мовна модель Apple може виконувати складніші та витонченіші операції. Обидва варіанти мають плюси та мінуси, і Apple намагається знайти баланс між локальними обчисленнями та хмарними обчисленнями.

Є повідомлення, що Apple запропонує поєднання хмарного ШІ та ШІ, обробленого на пристрої. Однак кілька колишніх інженерів Apple з машинного навчання сказали, що керівництво Apple вважає за краще запускати програмне забезпечення на пристроях, а не на хмарних серверах заради покращення конфіденційності та продуктивності.

Старший віце-президент Джаннандреа Одним із основних принципів розробки штучного інтелекту Apple є повага до конфіденційності. Якось він сказав в інтерв’ю: «Я розумію, що чим більша модель у центрі обробки даних, тим точнішою вона буде, але найкраще запускати модель поблизу даних, а не переміщувати дані».

Однак реалізувати це може бути дуже важко. Деякі аналітики кажуть, що на прикладі Ajax GPT його було навчено на більш ніж 200 мільярдах параметрів. Параметри відображають розмір і складність моделі машинного навчання; чим більше параметрів, тим вища складність і більше потрібного простору для зберігання та обчислювальної потужності. LLM із понад 200 мільярдами параметрів може бути нерозумним для розміщення на iPhone.

Але останні новини показують, що Apple, можливо, прийняла остаточне рішення. Нещодавно Apple опублікувала дослідницьку статтю, в якій показано, що вона знайшла спосіб запускати великі моделі на iPhone: «Побудова моделі вартості висновку, яка узгоджується з поведінкою флеш-пам’яті, щоб керувати оптимізацією у двох ключових областях: зменшення даних, що передаються з флеш-пам’яті. обсяг і читання даних у більших, більш безперервних шматках».

У документі зазначено, що нова технологія дозволяє великим моделям працювати в 25 разів швидше на пристроях з обмеженою пам’яттю, а це означає, що складні моделі штучного інтелекту, які спочатку не могли працювати на малих пристроях через обмеження ресурсів, незабаром зможуть працювати на iPhone та iPad. Зачекайте, доки він запуститься на споживчих мобільних пристроях.

02 ШІ покупець номер один: «Витрачайте невелику суму грошей, щоб робити великі справи»

Хоча зовнішній світ вважає, що Apple повільніше, ніж інші гіганти, у впровадженні передових технологій, таких як генеративний штучний інтелект, Apple також має власну впевненість у сфері штучного інтелекту.

Дослідницька фірма PitchBook, яка відслідковувала численні придбання систем штучного інтелекту Apple, дійшла висновку, що Apple зосереджується на придбанні найкращих команд талантів у різних сферах, які можуть застосовувати технологію машинного навчання до конкретних споживчих продуктів. Можна помітити, що стратегія придбання Apple в основному зосереджена на споживчих програмах штучного інтелекту, але також включає розгортання машинного навчання та технологію роботи для крайніх пристроїв, а також обмежені ставки на глибоке навчання та більш горизонтальні технології.

Згідно зі статистичними даними, починаючи з придбання Siri у 2010 році, Apple придбала понад 30 стартапів зі штучним інтелектом за 10 років, включаючи Shazam, primeSense, Turi, Lattice Data, Xnor.ai та інші п’ять компаній, із сумою придбання менше 2 Сто мільйонів доларів США. З 2017 року Apple придбала 21 стартап зі штучного інтелекту, що майже вдвічі перевищує кількість придбань Microsoft і Meta, і її можна назвати «покупцем номер один для ШІ». Починаючи з 2021 року темпи придбання компаній зі штучним інтелектом Apple, здається, сповільнилися, але вона все одно придбала такі стартапи, як Curious AI, AI Music і WaveOne.

Неповна статистика придбань Apple у сфері ШІ з 2010 року до теперішнього часу｜Geek Park

Загалом стратегію придбання Apple у сфері штучного інтелекту можна описати так: «витрачайте трохи грошей, щоб робити великі справи». Apple рідко здійснює масштабні злиття та поглинання, і цілями її придбання зазвичай є стартапи, чиї технології можна тісно інтегрувати з існуючими продуктами та послугами та допомогти покращити екологічне будівництво. Коли Apple купує компанію, головним питанням часто є те, як краще інтегрувати технології компанії в проекти, які розробляє Apple.

Загалом суми транзакцій для придбання цих компаній компанією Apple загалом низькі, а технічні напрямки останніх в основному охоплюють розпізнавання мови та розмови, а потім розпізнавання облич і зображень.З точки зору впровадження, ці придбані технології забезпечують підтримку багатьох існуючих Apple продукти та послуги, такі як покращення голосового помічника Siri, підтримка розпізнавання обличчя Face ID, оптимізація програм із зображеннями, покращення функцій музичних сервісів і підвищення точності прогнозу погоди.

Багато придбань Apple, здається, спрямовані на покращення Siri, що свідчить про важливу позицію Siri в системах Apple. Наприклад, придбання Inductiv мало покращити дані Siri, придбання Voysis — покращити розуміння Siri природної мови, а придбання PullString — полегшити розробникам iOS використання функцій Siri у своїх програмах.

Є також деякі придбання, які спрямовані на майбутні продукти.Наприклад, Apple придбала безпілотний стартап Drive.ai у 2019 році, ймовірно, для сприяння розвитку свого проекту безпілотних автомобілів. Apple не розкриває всю інформацію про придбання, тому Apple може придбати інші компанії зі штучного інтелекту, які невідомі.

03 AI вже давно інтегрований у системи Apple

Окрім численних злиттів і поглинань, власний розвиток штучного інтелекту Apple можна простежити багато років тому. Від запуску Knowledge Navigator у 1987 році до запуску проекту розпізнавання мовлення у 1990 році та до запуску Siri у 2011 році як першого споживчого голосового помічника, Apple фактично показала своє дослідження ШІ дуже рано, але це завжди було відносно стримано.

Apple історично не була першою, хто запускав нові технології, особливо ті, які не були перевірені споживачами. Наприклад, незабаром після появи MP3-плеєра ринкові перспективи були підтверджені, але Apple вийшла на ринок не відразу, а приєдналася лише після того, як визначила краще рішення, таке як iPod.

Те ж саме стосується і мобільних телефонів.Хоча інші компанії випустили смартфони рано, Apple вирішила вийти на ринок у 2007 році лише після того, як переконалася, що може забезпечити чудовий досвід споживачів. Так само, хоча планшети існують з 1989 року, ця категорія продуктів не змогла набрати популярності, поки Apple не випустила iPad.

Apple завжди ставила споживчий досвід на перше місце, і зазвичай чекає, доки технологія досягне зрілості, перш ніж офіційно комерціалізувати її. Ця розумна стратегія дозволяє уникнути ризику нестабільної технології на ранній стадії, а також дозволяє Apple краще використовувати ринкові можливості та запускати більш зрілі продукти, які вийти за межі.

Тому Apple має йти тим самим шляхом для продуктів, схожих на ChatGPT – вона не запускатиме їх поспішно, поки не буде готова. Тобто, зберігаючи відчуття таємниці, Apple повинна врешті-решт запустити зрілі продукти ШІ у свій спосіб.

Насправді в існуючих продуктах Apple уже є багато додатків машинного навчання/ШІ:

Обробка зображення

Apple використовує технологію машинного навчання для оптимізації фотографій, зроблених камерою iPhone, зокрема Deep Fusion для зменшення шуму зображення та інструменти iPhone 15 Portrait Mode.

iPhone 15 може визначити, чи є люди на зображенні, і автоматично захопити детальну інформацію｜Джерело зображення: apple

• Візуальний пошук. Машинне навчання дозволяє iPhone виявляти вміст фотографій.
• Оновлена камера iPhone 15 може використовувати машинне навчання, щоб розрізняти людей і тварин на знімку. *Цифровий портрет: частина, де передня лінза Apple Vision Pro сканує інформацію про обличчя, є «цифровим аватаром», створеним Apple для користувача на основі технології машинного навчання.

Опрацювання мовлення

• Синтез особистого мовлення, транскрипція мовлення в режимі реального часу: iPhone 15 підтримує технологію Personal Speech, яка дозволяє користувачам синтезувати голос, схожий на їхній власний, щоб вимовляти текст, який вони вводять у FaceTime та телефонних дзвінках, а також голосову пошту в режимі реального часу. транскрипція повідомлень.

Пошукові системи та системи підказок

• Пошук Spotlight: пошук Spotlight і пошук в операційній системі iOS працюють на основі штучного інтелекту.
• Пропозиції Siri: коли iPhone надає пропозиції, як-от надсилання привітання з днем народження або додавання події з Пошти до вашого календаря, за цим стоять алгоритми машинного навчання.
• Метод введення: ґрунтуючись на машинному навчанні на стороні пристрою, метод введення може автоматично покращувати модель відповідно до введення тексту кожним користувачем. Крім того, на основі вдосконаленої моделі мови Transformer для передбачення слів, метод введення може краще розуміти мовні звички користувача. і значно підвищити точність введення. Секс тощо.
• Автовиправлення: система автовиправлення Apple і параметри підказок слів створені на основі машинного навчання.

Моніторинг здоров’я

• ЕКГ: функція ЕКГ на Apple Watch може переглядати дані серцевого ритму, щоб визначити, чи може користувач відчувати фібриляцію передсердь.
• Виявлення зіткнень і падінь. Завдяки машинному навчанню пристрої Apple можуть визначити, зіткнувся чи впав користувач, на основі інформації, зібраної різними датчиками.
• (Apple Watch Series 9 і Ultra 2 – інтегрований штучний інтелект у функцію подвійного клацання для спрощення завдань, яскравішого дисплея, розумнішої Siri та вдосконаленого моніторингу стану.)

Інше можливе застосування в автомобілях - проект Apple Titan, проект безпілотних автомобілів. Хоча секретний проект називається Apple Car, досі невідомо, чи Apple справді випустить автомобіль.

Згідно з повідомленнями, автономній системі, яка розробляється в проекті Titan, потрібен мозок, і саме тут на допомогу приходить штучний інтелект Apple. Багато технологій, представлених для Apple Vision Pro, також можуть відігравати величезну роль в автомобільних проектах після посилення.

Для вдосконаленого нейронного механізму Apple це складне завдання для системи: координувати роботу в режимі реального часу, виявляти об’єкти, розуміти команди користувача та генерувати зворотній зв’язок одночасно. Однак звіт у 2021 році показав, що Apple розробила такий чіп і почне тестування.

Крім того, застосування штучного інтелекту в продуктах Apple має продовжувати інновації в таких аспектах, як обробка зображень, пошукові рекомендації та сприйняття навколишнього середовища. Однак у її екосистемі є можливий потенційний недолік, тобто Apple наполягає на забезпеченні конфіденційності даних і дизайні продукту, що може обмежити швидкість її розгортання передових технологій, таких як генеративний штучний інтелект, так само, як зараз це сприймається громадськістю " повільно" “Один крок” те саме.

Але вони все ще не можуть приховати величезний потенціал розвитку Apple у сфері штучного інтелекту, який в основному базується на наступних трьох факторах:

З одного боку, Apple має понад 2 мільярди пристроїв, що працюють під управлінням операційної системи iOS по всьому світу, що заклало величезну базу користувачів для майбутньої розробки програм ШІ. За словами головного фінансового директора Apple Луки Маестрі, станом на лютий 2023 року активна база встановлених пристроїв Apple перевищила позначку в 2 мільярди, а на кінець червневого кварталу вона досягла "в кожному регіоні. Усі сегменти ринку досягли рекордного рівня.

З іншого боку, голосовий помічник Siri від Apple обробляє 25 мільярдів запитів на місяць, що відображає високий попит споживачів на такі інструменти ШІ, як голосові помічники. Якщо в майбутньому Apple зможе запустити продукти, подібні до ChatGPT, масштаби даних ШІ та взаємодії її споживачів будуть величезними.

Не можна ігнорувати те, що кількість платних абонентів Apple стрімко зростає, перевищивши позначку в 1 мільярд і зберігаючи двозначне зростання. У фінансовому звіті за третій квартал у серпні 2023 року генеральний директор Apple Кук зазначив, що «дохід Apple у сфері послуг досяг рекордного рівня», а «платні підписки перевищили 1 мільярд і зростали двозначними темпами». заклав міцну основу для досягнення Apple зростання доходів за допомогою програм ШІ. Покладаючись на таку широку базу користувачів, Apple має широкі можливості для зростання на споживчому ринку ШІ.

Крім того, є новини про те, що Apple інвестує значні кошти в сервери штучного інтелекту та планує створити сотні інших у 2024 році, щоб підготуватися до майбутньої ери штучного інтелекту. У майбутньому Apple все ще має великий потенціал, щоб стати платформою номер один для споживчих додатків ШІ.

Довідка:

1. У великому плані Apple запровадити генеративний штучний інтелект на всіх своїх пристроях, Bloomberg

2. Apple може мовчати щодо штучного інтелекту, але вона також є найбільшим покупцем компаній штучного інтелекту, кварц

3. Apple збільшує витрати на розробку розмовного ШІ, інформація

4. LLM миттєво: ефективний висновок моделі великої мови з обмеженою пам’яттю