#DevStory: Как создавать 3D-модели на телефоне с помощью приложения in3D
Всем привет! Меня зовут Илья и я являюсь одним из разработчиков в команде in3D. С 2019 года мы развиваем технологию, которая позволяет создавать трёхмерные модели человека с помощью обычного смартфона. С тех пор мы сильно продвинулись вперед, а наши модели стали более естественными и реалистичными. Давайте вместе посмотрим на прогресс нашей команды и основные этапы усовершенствования применяемой нами методики 3D-моделирования.
Спойлер для самых нетерпеливых: тут можно посмотреть как выглядит наше приложение и результат, а так же сравнение с некоторыми другими приложениями для сканирования:
Как сделать 3D-аватар
Сначала был взрыв
Самые первые эксперименты от основателя in3d (скачать) были сделаны на основе пары облаков точек, сделанных с помощью Kinect. Затем мы совмещали их и пытались симулировать пару кусков ткани — их движения, складки и т.д.
Вот так выглядел первый зародыш виртуальной примерочной, в будущем сделанной нашей командой в несомненно лучшем качестве:
Было принято стратегическое решение — сделать продукт, который позволит каждому человеку сделать свою фотореалистичную 3D-модель. Так сказать, начало Metaverse.
Одна из основных проблем, с которой мы столкнулись в самом начале, была связана с качеством работы датчика глубины на телефоне. Он давал слишком много шума. Для создания хорошей модели нужно уметь соединять облака точек с разных кадров, убирать шум и оставлять максимально много деталей, что оказалось не так-то просто. Первые аватары не имели чёткой текстуры, и основная работа заключалась в создании правильной формы.
Правильная 3D-форма
Нам удалось побороть шум и склеить много кадров во что-то похожее на тело человека. Затем началось большое количество итеративных улучшений, решений технологических проблем и создания расширяемой инфраструктуры для приложения. Так как наша технология действительно сложная, на всем протяжении обработки данных используются видеокарты, и часть команды сфокусировалась на ускорении, другая продолжала улучшать качество моделей.
В какой-то момент это дало свои плоды — мы начали очень хорошо и консистентно понимать все про форму человека из данных. Дело осталось за малым — убедить мир, что мы делаем это лучше всех на таких шумных данных.
Основной майлстоун в 2020 году это запуск приложения, нам удалось довести все до финального продукта, попасть в App Store и начать тестировать технологию на разных юзерах. Выходило все лучше и лучше, но все еще были разные случаи, когда алгоритм не справлялся и модель не собиралась. Мы набирались данных и опыта решения множества граничных случаев. Так же из основного — у нас выделился в отдельный этап процесс сканирования головы и визуальный результат сильно улучшился.
В этом же году начались первые реальные применения нашей технологии — аватары стали насколько точными (ошибка до 1 см), что стартап Unspun начал с помощью наших моделей снимать мерки людей для пошива джинсов, ведь началась пандемия — сложно приехать в офис в Калифорнии, особенно если ты не в Калифорнии.
Так же мы старались найти другие интересные применения, экспорт в игры:
- Second Life
- VRChar
- GTA V
Фотореалистичный аватар
У наших аватаров теперь есть отличная форма, сильно улучшенная за предыдущий год — с это формы можно снимать мерки тела, много работы проводилось над визуальным улучшением аватаров и их текстуры.
Основной вехой прогресса в 2021 году на данный момент стало создание виртуальной примерочной — как по мне, так это что-то вроде проекта, о котором сотни стартапов говорило, но ни у кого не получилось распространенного продукта. Сделали мы это вместе с командой digital дизайнеров Replicant.
Нам удалось реализовать автоматизированную примерку одежды на персональные аватары и оформить это в весьма приятный опыт для пользователя (тут я предлагаю взять и оценить самому).