Снова кодеки — строим EVRT2CKMAX

Значимый прорыв формирует отрасль ИИ: vaalimusic 5 минут назад Снова кодеки — строим EVRT2CKMAX Сложный 9 мин 27 Rust * Системное администрирование * Сетевые технологии * Удалённая работа Роадмэп Когда ты пишешь собственный кодек удалённого рабочего стола, последнее, что хочется услышать от человека из конкурентов:«EVRTCK слаб». Особенно когда этот кодек действительно работает. Он умеет передавать рабочий стол тайлами 32×32.

Он не пережимает текст в кашу. Он использует dirty regions, XOR относительно предыдущего кадра, ZRLE, zstd, специальные пути для одноцветных тайлов. И я мог бы начать спорить.

Технические детали

Мог бы принести бенчмарки. Мог бы показать, как после устранения создания zstd-контекста на каждом тайле декодирование полного кадра 2560×1440 у меня упало примерно с 89,9 до 14,2 мс, а кодирование 1080p на типичной тайловой нагрузке — примерно с 65,8 до 4,4 мс. Мог бы ещё месяц оптимизировать AVX, SIMD, dirty map и доказывать, что EVRTCK хороший.

Но постепенно до меня дошло неприятное:он был прав. Только не совсем в том смысле, который я сначала услышал. EVRTCK слаб не потому, что это плохой кодек.

Он слаб в роли единственного ответа на любой экран. И вот с этого момента проект стал гораздо интереснее. Ошибка на самом деле была в самом вопросеПервоначальная архитектура EvertyDesk была довольно традиционной:capture ↓ codec ↓ transport ↓ decoder ↓ screenТо есть мы берём кадр и спрашиваем:Как его лучше сжать?

Отраслевые последствия

Для обычного рабочего стола EVRTCK действительно хорошо попадает в задачу. Если на экране IDE, терминал, браузер, таблица или окно настроек, между соседними кадрами значительная часть пикселей вообще не меняется. Зачем превращать это в видео?

Можно взять:previous frame + changed tiles ↓ lossless reconstructionИ отправить считаные килобайты. Проблема начинается, когда пользователь открывает YouTube. Или начинает крутить 3D-модель.

Или весь экран превращается в высокоэнтропийное движение. В этот момент главное преимущество EVRTCK исчезает:tile changed tile changed tile changed tile changed tile changed ... 265/AV1 как раз создавались для таких сцен.

Событие, по словам экспертов, усилит конкуренцию в сфере ИИ.