Как работает распознавание рукописного ввода в iPadOS 14 и зачем оно нужно

Scribble (в переводе «каракули» или «мазня») представили на WWDC очень достойно. Эту технологию заметили, но объявление Mac с Apple Silicon затмило ее. Между тем, это едва ли не самая важная новость из всех объявленных в тот день. Возможно, уже через несколько лет, вспоминая первую виртуальную WWDC в истории Apple, именно Scribble назовут её главным событием – а про Apple Silicon и COVID если и вспомнят, то между прочим, как фон. «Яблочно-силиконовые» Mac’и станут повседневной обыденной реальностью, на смену COVID, хоть в это и не верится, не придет новая и еще более неприятная мерзость – а умные карандаши все еще будут открывать в себе что-то новое и необычное, каждый год.

Что такое Scribble

Apple Pencil обязательно изменятся, потому что у главной составляющей технологии Scribble очень серьезные потребности. С её точки зрения «словарь» первых и вторых Apple Pencil слишком беден и маловыразителен. Главная составляющая – это искусственный интеллект. Помимо умных карандашей, Scribble создают нейронные процессоры. Если бы не этот блок яблочных кристаллов, чуда не случилось бы.

Apple Newton, PalmPilot и другие PDA седой древности пытались его совершить слишком рано. В то время это было невозможно, но благодаря изобретательности и авантюризму инженеров и ученых рукописный ввод, хоть и не идеально и не всегда, но работал. Если делать все по-настоящему, распознавать нашу мазню ничуть не проще, чем человеческую речь. За легкостью и непринужденностью Scribble годы труда и сложнейшие алгоритмы. А кое-в-чем Scribble даже превосходит Siri, Alexa и остальных голосовых ассистентов, не говоря уже про архаичные системы распознавания рукописного ввода.

Как работает распознавание рукописного ввода iPad

Этот же вопрос возник и у Алекса Джорджа, журналиста из Popular Mechanics, и он попросил ответить на него старшего вице-президенту Apple по программному обеспечению Крейга Федериги. Крейг быстро и подробно ответил. Верите? Но кто бы не инициировал это выступление Крейга, рассказанное им очень интересно. Ниже его ответ, в пересказе.

В отличие от прежних технологий распознавания рукописной речи, Scribble анализирует не отдельные рукописные символы, а строки и даже группы строк. В процессе машинного обучения программное обеспечение Scribble обучили иметь дело с разными почерками и особенностями письма огромного числа людей. Кроме этого, Крейг раскрыл только одну тайну главной составляющей Scribble и назвал её ключом к успеху: распознавание рукописного ввода полностью, от начала и до конца, выполняется на iPad, в реальном времени. Без участия дата-центров и серверов Apple. Без какой-либо передачи данных. В отличие от голосовых ассистентов, которые всё еще не могут обойтись без этого.

Обучение Scribble иностранным языкам требует времени, из-за чего в настоящее время он владеет только английским, а также двумя диалектами китайского языка, пекинским (литературным) и гуанчжоусским (кантонским). А вот русскому Scribble обучат, видимо, очень нескоро.

Кроме рукописного текста, Scribble воспринимает и приводит к красивому виду еще и немаленький набор геометрических фигур, позволяет работать с текстом (дублировать, удалять, править текст с помощью карандаша и тому подобное).

Пока еще рано говорить о Scribble как о новой парадигме пользовательского интерфейса, и в самой технологии все еще достаточно недоработок (это версия 1.0), но рано или поздно Scribble превратится в полноценный третий тип интерфейса. Потенциал у него для этого есть.

Появится ли распознавание рукописного ввода на Mac?

Mac’и на Apple Silicon, скорее всего, радикально изменятся. В ответ на все более откровенное движение iPad в сторону Mac’ов (поддержка трекпадов и курсоров), которыми iPad нарушает незыблемые прежде каноны, навстречу планшетам пойдут и Mac’и. А вы что думаете? Поделитесь мнением в нашем чате в Telegram.

Нарушая каноны, iPad остается, в первую очередь, планшетом. Тач-интерфейс на нем первичен, в программах для iPad разработчики обязаны полностью поддерживать тач-интерфейс, а вот поддерживать или не поддерживать интерфейс с курсором — они решают сами. Если в Mac’и будет встроена поддержка тач-интерфейса, адаптация к нему программ не будет обязательной. Минимум его поддержки предоставит операционная система. Интерфейс же на основе умных карандашей и нейронного процессора в обеих системах будет необязателен на обеих платформах – в обе платформы будет встроена его базовая поддержка. На Mac’е это имеет смысл только вместе с поддержкой тач-интерфейса, а будет ли она — достоверно неизвестно.