Как работает распознавание рукописного ввода в iPadOS 14 и зачем оно нужно

Scribble (в переводе «каракули» или «мазня») представили на WWDC очень достойно. Эту технологию заметили, но объявление Mac с Apple Silicon затмило ее. Между тем, это едва ли не самая важная новость из всех объявленных в тот день. Возможно, уже через несколько лет, вспоминая первую виртуальную WWDC в истории Apple, именно Scribble назовут её главным событием – а про Apple Silicon и COVID если и вспомнят, то между прочим, как фон. «Яблочно-силиконовые» Mac’и станут повседневной обыденной реальностью, на смену COVID, хоть в это и не верится, не придет новая и еще более неприятная мерзость – а умные карандаши все еще будут открывать в себе что-то новое и необычное, каждый год.

Как работает распознавание рукописного ввода в iPadOS 14 и зачем оно нужно. Эта функция может стать самой значимой со времен появления Siri. Фото.

Эта функция может стать самой значимой со времен появления Siri

Что такое Scribble

Apple Pencil обязательно изменятся, потому что у главной составляющей технологии Scribble очень серьезные потребности. С её точки зрения «словарь» первых и вторых Apple Pencil слишком беден и маловыразителен. Главная составляющая – это искусственный интеллект. Помимо умных карандашей, Scribble создают нейронные процессоры. Если бы не этот блок яблочных кристаллов, чуда не случилось бы.

Apple Newton, PalmPilot и другие PDA седой древности пытались его совершить слишком рано. В то время это было невозможно, но благодаря изобретательности и авантюризму инженеров и ученых рукописный ввод, хоть и не идеально и не всегда, но работал. Если делать все по-настоящему, распознавать нашу мазню ничуть не проще, чем человеческую речь. За легкостью и непринужденностью Scribble годы труда и сложнейшие алгоритмы. А кое-в-чем Scribble даже превосходит Siri, Alexa и остальных голосовых ассистентов, не говоря уже про архаичные системы распознавания рукописного ввода.

Что такое Scribble. Scribble почти что еще один ассистент. Только «бумажный». Фото.

Scribble почти что еще один ассистент. Только «бумажный»

Как работает распознавание рукописного ввода iPad

Этот же вопрос возник и у Алекса Джорджа, журналиста из Popular Mechanics, и он попросил ответить на него старшего вице-президенту Apple по программному обеспечению Крейга Федериги. Крейг быстро и подробно ответил. Верите? Но кто бы не инициировал это выступление Крейга, рассказанное им очень интересно. Ниже его ответ, в пересказе.

Как работает распознавание рукописного ввода iPad. Крейг Федериги рассказал, как работает Scribble. Фото.

Крейг Федериги рассказал, как работает Scribble

В отличие от прежних технологий распознавания рукописной речи, Scribble анализирует не отдельные рукописные символы, а строки и даже группы строк. В процессе машинного обучения программное обеспечение Scribble обучили иметь дело с разными почерками и особенностями письма огромного числа людей. Кроме этого, Крейг раскрыл только одну тайну главной составляющей Scribble и назвал её ключом к успеху: распознавание рукописного ввода полностью, от начала и до конца, выполняется на iPad, в реальном времени. Без участия дата-центров и серверов Apple. Без какой-либо передачи данных. В отличие от голосовых ассистентов, которые всё еще не могут обойтись без этого.

Обучение Scribble иностранным языкам требует времени, из-за чего в настоящее время он владеет только английским, а также двумя диалектами китайского языка, пекинским (литературным) и гуанчжоусским (кантонским). А вот русскому Scribble обучат, видимо, очень нескоро.

Кроме рукописного текста, Scribble воспринимает и приводит к красивому виду еще и немаленький набор геометрических фигур, позволяет работать с текстом (дублировать, удалять, править текст с помощью карандаша и тому подобное).

Как работает распознавание рукописного ввода iPad. Распознавание ведется в реальном времени на iPad. Фото.

Распознавание ведется в реальном времени на iPad

Пока еще рано говорить о Scribble как о новой парадигме пользовательского интерфейса, и в самой технологии все еще достаточно недоработок (это версия 1.0), но рано или поздно Scribble превратится в полноценный третий тип интерфейса. Потенциал у него для этого есть.

Появится ли распознавание рукописного ввода на Mac?

Mac’и на Apple Silicon, скорее всего, радикально изменятся. В ответ на все более откровенное движение iPad в сторону Mac’ов (поддержка трекпадов и курсоров), которыми iPad нарушает незыблемые прежде каноны, навстречу планшетам пойдут и Mac’и. А вы что думаете? Поделитесь мнением в нашем чате в Telegram.

Нарушая каноны, iPad остается, в первую очередь, планшетом. Тач-интерфейс на нем первичен, в программах для iPad разработчики обязаны полностью поддерживать тач-интерфейс, а вот поддерживать или не поддерживать интерфейс с курсором — они решают сами. Если в Mac’и будет встроена поддержка тач-интерфейса, адаптация к нему программ не будет обязательной. Минимум его поддержки предоставит операционная система. Интерфейс же на основе умных карандашей и нейронного процессора в обеих системах будет необязателен на обеих платформах – в обе платформы будет встроена его базовая поддержка. На Mac’е это имеет смысл только вместе с поддержкой тач-интерфейса, а будет ли она — достоверно неизвестно.

iPad ProiPadOS 14Обновление iOS и устройств Apple