UniMate: как управлять скелетами, не привлекая внимания санитаров

Вот важная новость с фронта ИИ: Vladi_world 3 минуты назад Краткое содержание статьи UniMate: как управлять скелетами, не привлекая внимания санитаров Простой 7 мин 2 Блог компании МТС Робототехника Разработка игр * Обзор Привет, Хабр! Чтобы гуманоидный робот решал реальные задачи, нужно научить его воспринимать окружающую среду, принимать решения на основе контекста и в соответствии с ними уже двигаться в пространстве. Последнее до сих пор остается узким местом в Physical AI, и один из вариантов его преодоления — использование универсальных моделей, генерирующих движения для роботов.

В этом материале расскажу о проекте UniMate, в котором авторы предлагают генерировать движения разных персонажей по текстовым промптам. На первый взгляд это инструмент для создателей цифрового контента и компьютерных игр, но проект предлагает универсальные модели движения, которые учитывают особенности строения скелетов совершенно разных типов. Разберемся, какая начинка у UniMate, и что в нем может быть интересного для Phisical AI.

Технические детали

Сложность при работе с кинематическими моделямиПрактически вся современная компьютерная графика строится на 3D-объектах, которые в последнее время становятся все более востребованными из-за необходимости обучать роботов разного типа действиям в реальном мире. WALL-E, EVE, UniTree G1, UniTree Go2 ИИ-модели неплохо выполняют риггинг по изображению объекта. Риггинг — это создание кинематической модели объекта, которая знает, как отдельные части объекта могут двигаться относительно друг друга, то есть, в нашем понимании, подвижного скелета.

Но даже если у нас уже есть готовый скелет, это еще не значит, что мы научились его анимировать так. Чтобы скелет двигался логично, естественно и при этом еще и выполнял поставленную человеком задачу, по-прежнему требуется либо ручная работа специалиста по анимации, либо специализированные ИИ-модели, заточенные под определенные типы объектов, либо вообще нужно использовать актера и технологию захвата движения. Модель, умеющая генерировать движения человека, не сможет анимировать собаку, дракона или какую-нибудь кракозябру с фантастическим строением.

У каждого объекта своя топология — уникальное строение скелета и связей в нем. Поэтому для разных категорий персонажей часто нужны отдельные шаблоны, специализированные модели или дополнительное обучение под новую структуру. Вот бы было здорово, если бы ИИ было можно скормить готовый скелет и сказать, какое движение выполнить?

Отраслевые последствия

От текста к движениюАвторы UniMate создали и обучили универсальную ИИ-модель, которая по простому промпту анимирует для скелетов любого устройства без дообучения под каждого нового персонажа. Допустим, у нас есть 3D-модель — человек, робот, животное или механизм. Модель уже подготовлена к анимации: у нее есть скелет, определены суставы и связи между ними.

Дальше пользователь просто говорит, какое движение или последовательность движений должен выполнить персонаж: «Робот идет вперед», «Собака поворачивает голову и машет лапой» или «Дракон нападает и смотрит в сторону».

Этот прогресс даёт важные сигналы о будущем отрасли, и технологический мир внимательно наблюдает.