Собираем 3D-сканер комнаты из телефона, SAM, CLIP и DINOv2

В сфере искусственного интеллекта произошло заметное событие. ZheleznyChel 9 минут назад Собираем 3D-сканер комнаты из телефона, SAM, CLIP и DINOv2 Простой 23 мин 213 Блог компании Timeweb Cloud 3D-графика * Python * Алгоритмы * Искусственный интеллект Туториал Перевод Автор оригинала: Florent Poux Мне давно хотелось сколотить деревянную книжную полку, чтобы наконец пристроить книги, которые вечно валялись по всему дому. Но для этого нужно было возиться с рулеткой и делать замеры вручную. А поскольку живем мы в эпоху воплощенного ИИ, мне пришла в голову мысль: а почему бы не создать систему, которая сделает всю рутину за меня?

Конечно, можно было просто взять обычную рулетку. Но согласитесь, это же совсем не так весело. Для начала нужно отснять пространство, реконструировать его и получить плотное облако точек.

Технические детали

Результат радует глаз – неважно, используете ли вы облако точек или 3D-гауссианы (3DGS). Но как только вы попытаетесь применить эту модель на практике, внутренний голос непременно скажет:Картинка красивая, но она не ответит ни на один вопрос: Где тут стены? Сколько стульев в комнате?

Само по себе «сырое» облако точек или массив гауссиан – это лишь красивая цифровая декорация. Обидно, ведь вживую мы мгновенно выбираем взглядом все эти объекты. Так что же способно превратить эту груду пикселей в данные, с которыми может работать компьютер?

Чистая геометрия без смысла – лишь каркас. По-настоящему оживляет пространство только семантика. Нужно наполнить модель смыслом, к которому можно обращаться с запросами.

Отраслевые последствия

Как только точка «осознает», что она – часть пола, безликое облако прекращает быть просто набором координат и становится комнатой. И вот что принципиально изменилось за последние два года. Нам больше не нужно обучать отдельную нейросеть под каждый новый объект.

Мощные современные нейросети компьютерного зрения – сегментаторы, классификаторы с открытым словарем, энкодеры с самообучением – и так прекрасно понимают, что изображено на картинке. Сегодня главное мастерство – это не обучение моделей, а их оркестровка. Весь фокус в том, чтобы перенести знания предобученной модели из плоского мира 2D-изображений в трехмерное облако точек, где они нам и нужны.

В этом руководстве мы пройдем весь путь: возьмем наспех снятое на телефон видео, превратим его в плотное облако точек, а затем послойно наполним смыслом. Мы сориентируем модель по силе тяжести, масштабируем в метры, разметим словами вместо бесконечного кликанья мышкой, научим систему отслеживать выделенный объект от кадра к кадру, устраним неизбежное мерцание меток и, наконец, нарежем облако в готовый чертеж. И заметьте: мы не обучим ни одной нейросети.

Этот прогресс даёт важные сигналы о будущем отрасли, и технологический мир внимательно наблюдает.