Как я пытался создать шедевр в Qwen, Luma и Pika, и что из этого вышло

Значимый прорыв формирует отрасль ИИ: Flampanzer 1 час назад Как я пытался создать шедевр в Qwen, Luma и Pika, и что из этого вышло Простой 6 мин 1. 7K Блог компании Selectel Искусственный интеллект Машинное обучение * Open source * Работа с видео * Обзор Помните, как полтора-два года назад в коротких видео стали появляться видео сомнительного качества, которые можно с легкостью пометить как сгенерированные? С тех пор их количество заметно упало.

Мы решили провести эксперимент и выяснить, действительно ли некачественные видео, созданные нейросетями, исчезли, или люди научились делать настолько хорошие ролики, что мы уже перестали определять, кто есть кто. В этой статье попробуем сгенерировать такие видео (или еще качественнее). Кого и зачем мы тестируемЧтобы эксперимент получился объективным, для сравнения был собран контрастный стек нейросетей.

Технические детали

В этот раз мы обойдемся без приевшихся флагманов — вместо этого столкнем инструменты, которые в наших прошлых материалах еще детально не проверялись, и сравним открытый open-weights подход с закрытыми облачными платформами. Роль базового ориентира досталась Qwen — этой модели хотелось устроить проверку в сложной для нее категории — видеогенерации. В качестве соперников к ней идут две относительно новых модели с совершенно разным позиционированием и технологическим пайплайном.

Первая — Luma (в основе которой лежит архитектура Diffusion Transformer или DiT), которую в сообществе регулярно хвалят за кинематографичный визуал, сложную логику кадров и отличную связность соседних сцен. Вторая — Pika (работающая на базе оптимизированных латентных диффузионных моделей), заработавшая репутацию за счет высокой скорости инференса и качественной, отзывчивой анимации микро-движений. Идея простая: взять популярные утверждения об этих нейросетях в качестве рабочих гипотез, прогнать их через одинаковые жесткие сценарии и наглядно проверить по ключевым для инженеров метрикам — точности следования промту и консистентности кадров.

Облачная инфраструктура для ваших проектовВиртуальные машины в Москве, Санкт-Петербурге и Новосибирске с оплатой по потреблению. Подробнее →Проверка на создание природыВ первом испытании мы решили нагрузить нейросети сложной темпоральной задачей — сгенерировать природный ландшафт в динамике. Мы заставим ИИ-модели генерировать русскую березку, которая будет расти из маленького саженца в большое дерево.

Отраслевые последствия

Поскольку лимиты большинства современных нейросетей ограничены короткими роликами до десяти секунд, весь процесс будет в режиме ускоренной съемки — таймлапс. QwenУниверсальный промт, который будет использоваться:«Создай кинематографичное видео с ускоренной съемкой, на котором видно, как одна русская белая береза вырастает из крошечного деревца в зрелое высокое дерево посреди обширного солнечного луга. Время движется вперед: годы пролетают за секунды.

Подчеркни времена года: зимой — отсутствие листьев, осенью сделай их красными и оранжевыми, летом и весной — зеленые.

Этот прогресс даёт важные сигналы о будущем отрасли, и технологический мир внимательно наблюдает.