#Лонгрид: Apple и ее будущее в мире мобильной фотографии

Когда десять лет назад появился первый iPhone, он мог делать только фотографии и не мог производить запись видео. С тех пор Apple быстро нарастила свои возможности в сфере мобильной съемки до точки, когда iPhone начали узнавать не только за стильный дизайн и быстродействие, но и за возможность с помощью него создавать гигантские билборды и даже полнометражные киноленты. С выходом iOS 11 и внедрением новой функции Depth возможности фото- и видеосъемки устройства вышли на совершенно новый уровень. Сегодня мы постараемся представить будущее фотографии с позиции новых функций, дебютировавших в iPhone 8 Plus.

Билборды, созданные с помощью iPhone. Берлин, Германия

На всем протяжении истории Apple и в частности за последние десять лет существования iPhone компания представила целый набор новых и развивающихся технологий, стремящихся на потребительский рынок. При этом следует отметить, что многие из этих идей были придуманы и представлены еще до Apple, взять ту же технологию мультитач-дисплеев, электронные гироскопы, акселерометры и камеры с функцией глубины.

Apple редко когда становилась компанией, первой выпустившей на рынок ту или иную технологию, но она часто становилась первой среди компаний, которым удавалось добиваться успеха новой технологии на массовом рынке. Объяснить это можно разве что тем, что Apple всегда была нацелена на то, чтобы перед фактическим выпуском новых технологий на рынок сделать их максимально эффективными и практичными в использовании.

Вот вам пример: Джефф Хан, один из первых разработчиков, представивших технологию мультитач-дисплея, не смог вывести на рынок миллионы мобильных устройств, а Apple с ее iPhone смогла. Тем не менее между делом Хан развил идею, которая превратилась в огромные экраны для конференц-залов. Но и опять уровень охвата рынка оказался совсем несопоставим с тем, что демонстрировала Apple, и это несмотря на то, что эта идея была позже выкуплена самой Microsoft и в конечном итоге превратилась в гигантский планшетный компьютер Surface Hub стоимостью 9000 долларов.

Даже сам Хан после презентации 2007 года отмечал: «iPhone просто невероятен, и я всегда говорил, что если в мире и есть компания, которая сможет вывести эту технологию на потребительский рынок, то это Apple».

Аналогичным образом Apple представила рынку свой последний результат работы — технологию камеры с восприятием глубины сцены, сперва с выпуском iPhone 7 Plus в прошлом году, а теперь вот с выпуском iPhone 8 Plus и готовящемся к выходу iPhone X. Компания провела кучу экспериментов с продуктами, варьируя их размер от уровня гостевой системы Xbox Kinect и до более портативных устройств уровня Occipital Structure Sensor или того же Project Tango от Google.

Но вместо того, чтобы использовать эту технологию в очередном причудливом контроллере или каком-нибудь экспериментальном нишевом продукте, Apple решила, что лучшим местом для использования технологии камеры с глубинным восприятием сцены станут те устройства, которые ежедневно используются десятками миллионов человек. В общем, Apple решила в очередной раз изменить наше представление о том, как следует пользоваться мобильными устройствами, начиная от процедуры авторизации и заканчивая общением, а также созданием фотографий и записи видео.

Сегодня поговорим о том, как за последний год Apple развивала технологию камер с глубинным восприятием сцены, а также о том, что ее может ожидать в будущем.

iPhone 7 Plus: две камеры, два уровня глубинного восприятия

В прошлом году iPhone 7 Plus предложил нам две камеры с независимым режимом работы. Оглядываясь назад, можно отметить, что эта функция (ставшая эксклюзивом для модели Plus) не только привлекла больше покупателей к более крупной, более дорогой модели Plus (что позволило компании заработать больше денег), но и позволила Apple ускорить вывод технологии в массы гораздо быстрее, чем было бы возможно в том случае, если бы компания выпускала ежегодно на рынок только одну модель устройства и была вынуждена идти на некоторые компромиссы, отказываясь от некоторых функций, потому что в одно устройство все не влезет.

Что же касается моделей более раннего поколения, iPhone 6/6s Plus, то они тоже предлагали некоторые эксклюзивные функции камеры, отличавшие их от стандартных по размеру моделей iPhone, например, ту же оптическую стабилизацию изображения (OIS). Главная особенность технологии OIS заключается в наличии вокруг объектива камеры очень точных микромоторчиков, способных очень быстро изменять свое положение в зависимости от того, какие данные на них поступают от датчиков движения. Таким образом это позволяет компенсировать дрожание рук при съемке.

Функция OIS становится особенно полезной и позволяет получать более качественные снимки при низком уровне освещения, когда затвору камеры необходимо как можно сильнее и дольше быть открытым, что делает его очень чувствительным к движениям. Тем не менее сама по себе функция OIS невидима, ее нельзя пощупать или продемонстрировать так же, как это можно, например, сделать с режимом увеличения iPhone 7 Plus.

Последующий переход к двойной камере в iPhone 7 Plus только увеличил потенциал ведения высококачественной съемки на мобильных устройствах. Она состоит из двух объективов, один из которых имеет стандартный угол обзора, в то время как другой работает в режиме увеличения x2, что позволяет производить более приближенную съемку объекта без потери качества изображения, будь то при обычном фото, либо записи видео, либо видео в режиме замедленной или даже панорамной съемки. Два объектива имеют независимые друг от друга сенсоры камер, но при этом они могут работать сообща. Это позволяет добиться плавного, постепенного масштабирования изображения, переходящего от работы стандартного датчика изображения к зумированному, при выборе пользователем соответствующих настроек.

На тот момент при анонсе Apple также вскользь упомянула функцию, которая появится в будущих обновлениях и добавит изображениям резкого фокуса за счет эффекта боке. Другими словами, функция должна делать размытым задний фон и направлять весь фокус на объект, расположенный на переднем плане. Разумеется, данное нововведение стало настоящим хитом. Ведь попадающие в кадр дети, друзья и животные теперь становились настоящими центральными звездами на каждой фотографии. И в отличие от таких программ с комичными фильтрами и эффектами, как Photo Booth и Snapchat, портретный режим фотографии в iOS 10 предлагал создание реалистичных, высококачественных изображений, с добавлением «драматичного фокуса», позволяя, помимо прочего, почувствовать человека, делающего эти фотографии, более уверенным в своих навыках.

Детали реализации портретного режима компания не обсуждала вплоть до мероприятия WWDC17, проходившего этим летом, где она заявила, что эта функция – далеко не единственный трюк, на который способна двойная камера iPhone 7. На презентации Apple объяснила, что портретный режим реализован за счет того, что оба объектива настроены таким образом, что способны создавать изображения, эквивалентные 2-кратному увеличению, просто каждый из объективов снимает объект под немного другим углом.

Благодаря использованию дифференциальной обработки глубины сцены, то есть когда между двумя точками на изображении проводится сканирование различий для определения того, находится ли объект на снимке ближе к камере или расположен дальше на заднем фоне, два получаемых изображения можно использовать для создания карты глубин или своеобразного трехмерного типографского слоя из метаданных, которые объединяются в оригинальной фотографии. Портретный режим, в свою очередь, использовал эти данные для того, чтобы определять, какие части на изображении находятся дальше от объектива, и тем самым накладывал на эти области эффект размытия.

Фотография, полученная с iPhone 7 Plus, и карта глубин того же снимка в сером цвете

Теперь же, с выходом iOS 11 любой желающий может ощутить все прелести выпущенного вместе с ней Depth API и после использования портретного режима заняться обработкой определенных слоев изображения. Например, создать полностью бесцветный фон, оставляя цветным только центральный объект на фото.

Справедливости ради стоит отметить, что практически любой существующий на рынке фотофильтр может работать с разными слоями. Поэтому эффект боке в портретном режиме может показаться лишь верхушкой айсберга тех возможностей, которые предлагает технология Depth.

Однако в рамках презентации WWDC’17 представитель Apple Этьен Жерар продемонстрировал, как созданная с помощью двойной камеры iPhone карта глубин может быть визуализирована в 3D-изображение и как можно выборочно, применяя фильтры и другие эффекты, отредактировать различные части этого полученного изображения.

Разработав и грамотно разрекламировав один конкретный эффект портретного режима, работающий и выглядящий действительно очень хорошо, настолько хорошо, что дает владельцам устройства ощущение от использования настоящей зеркальной камеры, компания смогла убедить покупателей, что этот портретный режим является вполне себе убедительной причиной для того, чтобы купить iPhone 7 Plus.

Если бы Apple представила двойную камеру Plus просто в качестве некоего экспериментального инструмента, предлагающего сразу целую кучу непонятных возможностей, в которых придется разбираться самостоятельно, то большинство потенциальных владельцев устройства, скорее всего, его бы просто проигнорировали, восприняв в качестве очередного переусложненного и никому не нужного новшества.

iPhone 8 Plus: портретное освещение и процессор A11 Bionic

С выпуском iOS 11 на iPhone 8 Plus и iPhone X работа с глубиной сцены стала еще более детализированной. Использующийся в устройствах новый процессор A11 Bionic имеет специальное ядро обработки изображения (Image Signal Processing), которое просчитывает информацию от поступающих сенсоров камер. В то же время использующаяся технология Neural Net позволяет системе понимать и анализировать объекты, лица и тела, находящиеся в движении внутри создаваемой сцены.

С такой новой вычислительной мощностью новая функция портретного освещения позволяет не только накладывать на изображение эффект боке, но также и использовать функцию умной подсветки переднего плана фотографии, имитируя сбалансированное освещение и позволяя еще сильнее выделять отдельные элементы человеческого лица, например, ту же линию скул, опять же одновременно дистанцируя их от заднего плана.

С новой функцией портретного освещения даже самые обычные снимки превращаются в нечто более интересное

Опять же, как можно заметить, вместо того чтобы предложить бесконечный набор новых инструментов для создания различного уровня глубины сцены на фотографиях, Apple решила сосредоточить внимание на одном из них, конкретно портретном освещении, но проработать его настолько, что функция действительно может оказаться полезной в самых разных ситуациях.

Конкуренты

Двойные камеры в смартфонах появились относительно давно. Еще в 2011 году (когда Apple только представила Siri с выпуском модели iPhone 4s) HTC и LG показывали свои стереоскопические камерофоны, которые могли снимать в 3D и воспроизводить это 3D на экране без необходимости в использовании специальных очков. В то же самое время уже в течение нескольких месяцев происходил настоящий бум 3D HDTV. Но потом покупатели поняли, что им на самом деле не так уж и нужно наличие головокружительных 3D-эффектов. С тех пор 3D-смартфоны никто больше не производил.

Спустя годы, в 2014 году HTC представила новинку M8. Аппарат оснащался двумя тыльными камерами, делавшими двойные снимки, смешивая их и просчитывая глубину сцены, а также добавляя размытость заднего фокуса или цифровым образом рефокусируя изображение. Тем не менее эксперты и профильная пресса отмечали, что «эффект от наличия двух камеры был скорее странным, нежели добавлял преимущество на фоне конкурентов».

Ранее в этом году компания LG представила двойной оптический модуль, где один объектив обладает широким углом обзора, а второй супершироким, чтобы на фото могло поместиться еще больше объектов. Однако фиксированная глубина фокусировки не позволяет использовать их одновременно. Кроме того, несмотря на то что широкоугольный объектив действительно имеет свои плюсы, зумирование в данном случае все равно остается более практичным решением.

Компания Huawei недавно наладила сотрудничество с Leica и начала разработку смартфона с двойной камерой. Одна будет предназначаться для съемки в цвете, другая предназначается для изображения монохроматических деталей. Таким образом производитель пытается имитировать человеческое зрение, для получения более реалистичных снимков. Правда пока непонятно, насколько данный подход действительно позволит увеличить качество получаемых фотографий.

Pixel 2: одна камера лучше двух! По крайней мере в представлении Google

Последняя новинка от Google, смартфон Pixel 2, тоже пытается имитировать работу портретного режима Apple, создавая эффект боке, но используя всего одну камеру. Издательство CNET отмечает: «Камера использует технологию Dual Pixel, разделяя каждый пиксель на фотографии надвое. Наличие двух специальных сенсоров делит каждую фотографию на две части – правую и левую, объединяя затем в одну».

И все же такая реализация подразумевает, что одна камера будет способна создавать менее точный уровень глубины изображения, по сравнению с двумя камерами, расположенными друг от друга на определенном расстоянии. Вполне вероятно, что устройство Google при съемке в портретном режим определяет лицо и те части волос и тела, которые с ним связаны, а на оставшийся передний и задний планы просто накладывает эффект размытия.

В вышеуказанной статье CNN упоминается Марио Кейруш из Google, отвечающий за аппаратное направление компании, который говорит, что «у них с камерой все в порядке, и они ничего в ней не упустили». Однако, как указывают журналисты с западного AppleInsider, использование только одной камеры и объектива лишает устройство функции оптического увеличения, которую предлагают те же модели iPhone 7/8 Plus. Объектив здесь тоже простой, а не широкоугольный, как от LG. Кроме того, новинка, кажется, даже и не пытается предложить более сложные эффекты, как портретное освещение, представленное в iPhone 8 Plus.

Конечно, нужно дождаться сравнительных тестов портретного режима Pixel и iPhone 7 Plus, но на данный момент единственной причиной, почему Google решила использовать только одну тыльную камеру, кажется, является желание компании сделать устройство дешевле в производстве, при этом жертвуя не только возможностью добавления творческих эффектов к статичным фотографиям, но и обработкой глубины сцены, которая той же iOS 11 предлагается также для видео, а также для зум-режима.

Помимо работы с двойными камерами iPhone 7 Plus и iPhone 8 Plus, Apple также занялась технологиями машинного обучения и компьютерного зрения для всей линейки устройств на базе iOS 11, а также еще более продвинутой технологией глубинного захвата изображения, которая будет использоваться в iPhone X.