Как я превратил Real‑ESRGAN и FFmpeg в потоковый Windows‑апскейлер без гигантских временных папок

Значимый прорыв формирует отрасль ИИ: Dagnarus 9 минут назад Как я превратил Real‑ESRGAN и FFmpeg в потоковый Windows‑апскейлер без гигантских временных папок Средний 10 мин 180 Обработка изображений * Open source * . NET * C# * Ретроспектива Из песочницы Апскейлить одно изображение с помощью Real‑ESRGAN несложно: передать файл модели, дождаться обработки и сохранить результат. С видео всё становится заметно интереснее.

Нужно декодировать тысячи кадров, передать их нейросети, собрать обратно в видеопоток, сохранить звук, показать пользователю прогресс и корректно остановить несколько одновременно работающих процессов. А если десятичасовой рендер оборвался на девятом часу, желательно не начинать всё сначала. Именно из этой задачи вырос UltraFrame AI — бесплатное Windows‑приложение с открытым исходным кодом для пакетного апскейлинга видео и изображений.

Технические детали

Основной целью проекта было не создать ещё одну графическую оболочку над консольной командой, а собрать полноценный рабочий процесс: очередь файлов, потоковую обработку без огромных каталогов с кадрами, восстановление прерванных заданий и понятный интерфейс для пользователя, который не обязан разбираться в параметрах FFmpeg. Главное окноОкно рендераЯ работал с видео, для которого обычного масштабирования было недостаточно. В первую очередь речь шла об аниме, мультипликации, визуальных новеллах и другом рисованном контенте.

Для таких материалов модели семейства Real‑ESRGAN способны не только увеличить размер кадра, но и восстановить более чёткие контуры, сгладить ступеньки и частично уменьшить артефакты сжатия. Консольные инструменты уже существовали, однако рабочий процесс оставался неудобным. Для каждого файла требовалось вручную запускать команды, контролировать временные каталоги, следить за свободным местом и затем собирать результат через FFmpeg.

На одном коротком ролике это терпимо. При обработке сезона сериала или большой папки изображений ручная схема быстро превращается в отдельную работу. Так появилось первое требование к UltraFrame AI: пользователь добавляет несколько файлов или папку, выбирает параметры и запускает очередь.

Отраслевые последствия

Всё остальное приложение должно делать самостоятельно. Почему я отказался от папки с извлечёнными кадрамиСамая простая архитектура видеоапскейлера выглядит так:Исходное видео ↓ Извлечение кадров в PNG ↓ Апскейлинг каждого PNG ↓ Сохранение обработанных кадров ↓ Сборка нового видео Этот подход удобен для разработки. Каждый этап легко проверить отдельно, а после сбоя можно увидеть, на каком кадре возникла проблема.

Однако у него есть существенный недостаток — расход дискового пространства. Десятиминутное видео с частотой 30 кадров в секунду содержит примерно 18 000 кадров. При сохранении в PNG один кадр может занимать несколько мегабайт.

Этот прогресс даёт важные сигналы о будущем отрасли, и технологический мир внимательно наблюдает.