Как анимировать любую фотографию на iPhone

Apple не просто так занимается технологиями дополненной реальности — сейчас они уже вышли на такой уровень, что позволяют превратить фото в видео, анимировав снимок прямо на айфоне. Хотя работают такие приложения не всегда так, как хочется, некоторые разработчики сильно заморачиваются: например, создатели приложения xpression camera, которые соединили вместе технологии AR и машинного обучения. Приложение позволяет управлять мимикой на фото или даже видео, подставляя мимику вашего лица.

Криповато, но очень забавно

Как анимировать фото на iPhone

Программа принадлежит японскому стартапу EmbodyMe и использует нейросети для того, чтобы оцифровывать ваши черты лица, мимику и жесты и накладывать их в режиме реального времени на любое выбранное вами изображение или видео.

Пользоваться приложением очень легко. Скачайте его по этой ссылке, а затем можете выбрать либо одно из готовых изображений или видео, либо воспользоваться поиском по знаменитостям или выбрать фотографию из собственной галереи на iPhone. Например, можно найти фото Тима Кука и попробовать анимировать его.

В приложении есть готовая база фото и видео, но можно загрузить свое

Как только вы выберете фото, приложение задействует датчики TrueDepth, которые обычно используются айфоном для Face ID, чтобы сканировать ваше лицо и в режиме реального времени менять мимику человека на фото. Я попробовал взять для примера фотографию Дональда Трампа — результат получился не совсем такой, как я ожидал. Выражение лица действительно менялось, но стоило открыть рот, как все ломалось.

Моя мимика не сильно подошла ему

А вот с фото Тима Кука, главы Apple, и рэпера The Weeknd все получилось — приложение очень круто распознало мимику и подставило ее на фото. Причем полученный результат можно записать с помощью круглой кнопки, и превратить фото в видео на айфоне.

А вот здесь было сработано гораздо лучше. Если нажать на круглую кнопку, можно что-то записать в это время

Вот как выглядит готовый результат:

Как анимировать любую фотографию на iPhone. Как анимировать фото на iPhone. Фото.

Таким же образом можно сделать с уже существующим видео, только если на видео человек не разговаривает. Немного криповато, но прикольно:

Конечно, пока приложение явно недоработано. В некоторых случаях оно действительно хорошо распознает мимику и подставляет ее на фото, но многое зависит от самого снимка. И алгоритм не всегда работает правильно. С видео все совсем плохо: по мне можно использовать xpression camera для фотографий, но работать с видео приложение пока не готово.

Кстати, веб-версию программы можно использовать, например, для Zoom или Twitch, Microsoft Teams и Google Meet — сделали себе виртуальный аватар для конференций (где вы в костюме и с прической) и участвуете в онлайн-встречах хоть в пижаме. Правда, с такой реализацией коллеги точно быстро вас раскусят.

В целом, это не мешает поиграться с приложением и записать прикольный ролик для друзей или родственников, или разыграть кого-то в нашем чате. Это молодой стартап, и проект пока развивается, будет интересно посмотреть, что получится в итоге. Пока приложение работает не на коммерческой основе, все его функции доступны бесплатно.