Apple выпустила ИИ, который превращает обычную фотографию в 3D
Apple неожиданно выложила в открытый доступ одну из самых впечатляющих ИИ-разработок последних лет. Модель называется SHARP, и она умеет превращать обычную 2D-фотографию в фотореалистичное 3D. Причем делает это меньше чем за секунду. Без набора снимков, без долгих расчетов и без ручной подготовки.
Обычное плоское фото легко превратить в 3D
❗️ЕЩЕ БОЛЬШЕ СТАТЕЙ ОБ APPLE ИЩИТЕ В НАШЕМ ДЗЕНЕ СОВЕРШЕННО БЕСПЛАТНО
Если упростить идею до предела, SHARP берет одну фотографию и восстанавливает по ней объем. Не абстрактный, а с сохранением реальных расстояний, масштаба и перспективы. В результате картинку можно покрутить, слегка сместить камеру и увидеть сцену под другим углом, будто это не фото, а трехмерная модель.
Принцип работы SHARP перед вами. Изображение: 9to5mac.com
В основе подхода лежит так называемое 3D Gaussian представление. Это миллионы крошечных облаков цвета и света, размещенных в пространстве. По отдельности они ничего не значат, но вместе складываются в объемную сцену, которая выглядит правдоподобно при небольших движениях камеры. Раньше для такого эффекта требовались десятки или сотни снимков одного и того же места, сделанных с разных точек. SHARP делает то же самое по одному изображению.
Ключевой момент в том, как Apple обучала модель. SHARP натренировали на огромном объеме синтетических и реальных данных, чтобы она выучила типичные закономерности глубины, геометрии и структуры сцен. Когда модель получает новую фотографию, она сначала оценивает глубину, затем уточняет ее на основе накопленного опыта и сразу предсказывает положение и внешний вид миллионов 3D Gaussian. Все это происходит за один проход нейросети.
Важно, что SHARP не пытается додумывать то, чего не видно. Модель хорошо работает с близкими ракурсами, но не синтезирует полностью скрытые части сцены. Вы не сможете зайти за угол дома или посмотреть, что находится за спиной фотографа. Это осознанный компромисс, который позволяет сохранить скорость и стабильность результата. Именно поэтому генерация занимает доли секунды, а картинка не разваливается.
Готовую картинку можно крутить, как вам удобно. Изображение: x.com
Apple заявляет, что SHARP устанавливает новый уровень качества по сравнению с предыдущими методами. В исследованиях модель показывает заметно лучшие показатели визуального сходства и при этом работает в тысячи раз быстрее. Но куда интереснее то, что Apple не просто рассказала об этом в статье, а выложила SHARP на GitHub. Любой желающий может попробовать модель на своих фотографиях.
Можно даже приблизить картинку, чтобы рассмотреть всё более детально. Изображение: x.com
❗️ПОДПИСЫВАЙСЯ НА ТЕЛЕГРАМ-КАНАЛ СУНДУК АЛИБАБЫ, ЧТОБЫ ПОКУПАТЬ ТОЛЬКО ЛУЧШИЕ ТОВАРЫ С АЛИЭКСПРЕСС
Пользователи уже делятся результатами, включая не только изображения, но и короткие видео с эффектом объемного движения камеры. Формально это выходит за рамки изначальной задачи SHARP, но хорошо показывает потенциал подхода.
Самое любопытное здесь даже не сама технология, а то, куда она может привести. Такие модели отлично ложатся в будущее AR, пространственных интерфейсов и устройств вроде Vision. И тот факт, что Apple делает подобные вещи открытыми, говорит о том, что эксперименты с трехмерным восприятием мира у компании только начинаются.
