Apple рассказала, как обучает нейросеть Apple Intelligence и делает ее умнее
Apple рассказала, как обучала свои новые языковые модели для Apple Intelligence — и это куда интереснее, чем просто маркетинговая шумиха. Компания опубликовала подробный технический отчёт, в котором раскрывает, как устроен её ИИ, как он тренируется и почему работают так быстро и точно. Это редкий случай, когда Apple приоткрывает завесу над внутренней кухней, и в ней есть, на что посмотреть.
Apple постоянно работает над тем, чтобы Apple Intelligence становилась умнее. Изображение: nytimes.com
❗️ЕЩЕ БОЛЬШЕ СТАТЕЙ ОБ APPLE ИЩИТЕ В НАШЕМ ДЗЕНЕ СОВЕРШЕННО БЕСПЛАТНО
Оказывается, локальная модель, которая работает прямо на iPhone, была разделена на две части. Первая содержит большую часть слоёв, вторая — облегчённая и лишена некоторых тяжёлых операций, что экономит около 37% оперативной памяти. Это позволило ускорить генерацию текста и снизить нагрузку на устройство, не жертвуя качеством. То есть, даже без подключения к интернету модель умеет быстро генерировать осмысленные ответы.
А вот в облаке Apple использует совсем другую архитектуру — PT-MoE (Parallel-Track Mixture-of-Experts). Суть в том, что модель разбита на «экспертов» — маленькие блоки, каждый из которых отвечает за свою тему. Когда пользователь задаёт вопрос, активируются только нужные эксперты, остальные ждут. Это не только экономит ресурсы, но и ускоряет отклик. Причём данные обрабатываются в нескольких параллельных потоках, чтобы избежать узких мест. Получается мощно, гибко и очень эффективно.
Обучение Apple Intelligence проходит в несколько этапов. Изображение: 9to5mac.com
❗️ПОДПИСЫВАЙСЯ НА ТЕЛЕГРАМ-КАНАЛ СУНДУК АЛИБАБЫ, ЧТОБЫ ПОКУПАТЬ ТОЛЬКО ЛУЧШИЕ ТОВАРЫ С АЛИЭКСПРЕСС
Отдельное внимание Apple уделила многоязычности. Если раньше доля неанглийских данных составляла всего 8%, то теперь — 30%. Компания расширила словарь модели на 50%, увеличив количество известных ей токенов до 150 тысяч. Всё это улучшило качество ответов на других языках, особенно после тонкой настройки с помощью носителей языка. Это значит, что функции вроде «Инструментов письма» будут работать заметно лучше и точнее не только на английском.
Что касается источников данных, тут всё тоже интересно. Основной массив был собран с интернета с помощью Applebot, при этом Apple подчёркивает, что уважает запреты в robots.txt. Также использовались лицензированные материалы от медиа, синтетические данные для тренировки на задачах по коду, математике и изображениям, а ещё — более 10 миллиардов пар «изображение + подпись», включая скриншоты и рукописные заметки. Всё это делается ради одной цели — сделать ИИ мощным, но при этом приватным и безопасным.
Таким образом, Apple действительно выстроила уникальную систему: гибридную, быструю, масштабируемую и уважающую приватность. Она уже работает в iOS 18, и, судя по отчёту, это только начало.
