Meta* представила датасет для восстановления 3D-сцен по стереовидео

Значимый прорыв формирует отрасль ИИ: daniilshat 29 минут назад Краткое содержание статьи Meta* представила датасет для восстановления 3D-сцен по стереовидео 1 мин 857 Машинное обучение * Искусственный интеллект Пост Meta* опубликовала на Hugging Face XRStereo — синтетический датасет для обучения моделей для восстановления 3D-сцен по стереовидео. В нём содержится почти 18 тыс. последовательностей по пять стереопар.

Разрешение каждого изображения составляет 1024 × 1024 пикселя. В каждой последовательности камеры движутся по неподвижной сцене. Помимо левого и правого изображения доступны данные о положении камер, расстоянии между ними и есть карты диспаратности — смещения пикселей между двумя ракурсами.

Технические детали

В датасете доступно 13 виртуальных окружений, включая девять интерьеров и четыре уличные сцены. Исследователи в процессе их создания меняли горизонтальный угол обзора от 50° до 130° и расстояние между камерами от 4 до 12 см. Это позволяет использовать датасет для обучения систем под разные стереокамеры VR-гарнитур и роботов.

Датасет создавали в первую очередь для метода StereoSplat, который инженеры Meta* разработали вместе со специалистами Амстердамского университета. Метод строит трёхмерные представления с помощью метода Gaussian Splatting, а после генерирует изображение с новых точек обзора, чтобы показать, как сцена выглядела бы при смещении камеры. XRStereo занимает почти 373 ГБ и разбит на 72 архива.

Вместе с этим доступен код метода StereoSplat и веса готовых моделей.

Событие, по словам экспертов, усилит конкуренцию в сфере ИИ.