Генератор музыкальных видео на Python: зерно раздуло файл в 13 раз, спектр врал на тишине, AV1 выиграл втрое

Вот важная новость с фронта ИИ: i_alakey 16 минут назад Генератор музыкальных видео на Python: зерно раздуло файл в 13 раз, спектр врал на тишине, AV1 выиграл втрое Средний 10 мин 204 Работа с видео * Python * Обработка изображений * Open source * Звук Кейс Я собрал генератор музыкальных роликов — тех самых «audio edit», которые лежат на ютубе миллионами: размытый фон, обложка по центру, спектр пляшет по кругу, снизу полоса воспроизведения. На вход трек и картинка, на выходе mp4. Отрендерил первый трёхминутный ролик, открыл папку и не поверил глазам: 472 мегабайта.

В кадре одна статичная картинка. Она даже не двигается толком — медленный зум на 14% за весь ролик. Не игра, не съёмка с рук, не футаж.

Технические детали

Разбор занял вечер, и виноватым оказался эффект, который я добавил последним и считал косметикой. Куда ушёл битрейтПервым делом я разобрал кадр на слои и стал отключать их по одному, замеряя битрейт видеопотока. Все замеры ниже — одни и те же 6 секунд демо-ролика, 1080p/30, x264 CRF 21, пресет aesthetic.

Считается именно видеопоток, без звука: ffprobe по пакетам, а не размер файла, чтобы аудиодорожка не мешалась. Сначала отключил зерно, чтобы посмотреть на остальные слои без него. 69 Мбит/с на всё про всё, и вклад слоёв такой:СлойВклад в битрейтДолявизуализатор0.

9%текст и полоса прогресса0. 9%Логично: визуализатор — единственное, что реально меняется каждый кадр, он и стоит дороже всех. Остальное статика, кодек предсказывает её из предыдущего кадра почти бесплатно.

Отраслевые последствия

А потом я включил зерно обратно:НастройкаБитрейтТрёхминутный трекПротив «без зерна»зерно выключено1. 7 Мбит/с36 МБ—grain_size: 414. 0grain_size: 1 (попиксельно)56.

3 Мбит/с — в пятьдесят раз больше, чем пляшущий спектр, и в двенадцать раз больше, чем весь остальной кадр вместе взятый. Умножает файл на тринадцать. Попиксельный шум — на тридцать три: полтора гигабайта на трёхминутный трек из одной картинки.

И это при том, что зерно почти не видно. Я померил его амплитуду после всех масштабирований: среднеквадратичное отклонение 4. 6 уровня яркости из 255, меньше двух процентов шкалы.

Событие, по словам экспертов, усилит конкуренцию в сфере ИИ.