Из 360°-панорамы авто в настоящий 3D: Gaussian Splatting на чужих фотографиях машин

В сфере искусственного интеллекта произошло заметное событие. bulatko 35 минут назад Из 360°-панорамы авто в настоящий 3D: Gaussian Splatting на чужих фотографиях машин Средний 6 мин 1. 5K Машинное обучение * Работа с видео * 3D-графика * Кейс Из песочницы Наткнулся на рекламу сайта продажи авто в телеграме. Зашёл на сайт из любопытства, потыкал объявления и наткнулся на фичу — «3D-панорама».

Зажимаешь, ведёшь пальцем, машина поворачивается перед тобой. Визуализация работы фичиДемо с сайта продажи автоПокрутил её со всех сторон и поймал мысль: под капотом это карусель из фотографий, снятых по кругу. Машину видно со всех боков, но плоско.

Технические детали

Угол, которого нет в кадре, не подсмотришь. Своей траекторией не облетишь. Это слайд-шоу, прикинувшееся объёмом.

А под такую съёмку — объект, отснятый по кольцу — есть инструмент, который вытащит из неё честную 3D-модель. Скармливаешь кадры с орбиты, он восстанавливает геометрию и расцветку сцены облаком гауссиан, и дальше камера летает где угодно: ближе, дальше, под любым углом, по своей дуге. Я взял одну машину с и прогнал через 3DGS — проверить, насколько «лучше» выйдет их плоской панорамы.

Хочу сказать сразу, что в этой статье не будет точных описаний всех алгоритмов, статья будет сугубо демонстративная. В будущем надеюсь раскрыть все детали подробнее. Вот исходник — кадры, склеенные в карусель:Оригинальная панорама - набор фотоА вот что получилось у меня — гауссианы, свободный облёт по кольцу:3DGS модель той же сценыРазница в том, что первое — набор картинок, а второе — геометрия, которую можно показать с ракурса, которого в съёмке не было.

Отраслевые последствия

Что внутри панорамыПод «3D-панорамой» лежит набор обычных jpg. Для одной машины — ~100 кадров, снятых по кругу, шириной 1200 пикселей. Драг пальцем перематывает их, как флипбук.

Глубины нет, модели нет — листалка кадров с фиксированной орбиты. Как я скачал кадры — не тема этой статьи. Важно одно: панорама лежит как папка картинок, а номер машины сервис закрывает своим вотермарком, так что с приватностью разбираться не пришлось.

Сама съёмка — подарок. Камера обошла машину по кольцу, кадры плотные и равномерные. Под такой сценарий и заточены фотограмметрия с Gaussian Splatting: дай им объект, отснятый с разных сторон, и они соберут сцену в объёме.

Этот прогресс даёт важные сигналы о будущем отрасли, и технологический мир внимательно наблюдает.