INT8 не виноват: как мы мерили сэмплеры на квантованных flow-моделях и опровергли собственную идею

В сфере искусственного интеллекта произошло заметное событие. YakovSava 44 минуты назад Краткое содержание статьи INT8 не виноват: как мы мерили сэмплеры на квантованных flow-моделях и опровергли собственную идею 5 мин 959 Обработка изображений * Open source * Python * Искусственный интеллект Машинное обучение * Если вы запускаете модели вроде Flux или Qwen-Image на домашней видеокарте, вы почти наверняка используете квантованные веса. И почти наверняка встречали совет: «на квантованной модели не берите навороченные сэмплеры, они накапливают ошибку». Мы решили проверить, правда ли это, и получили результат, который оказался неудобен для нас самих.

Коротко:настоящие INT8-ядра ComfyUI добавляют шум, который почти не виден в итоговой картинке;шум этот белый, то есть между шагами не коррелирован, и именно поэтому его усиливают методы высокого порядка;гораздо сильнее влияет выбор сэмплера и CFG;наш собственный Flow-WLS, который мы предлагали в прошлой работе, на малом числе шагов проиграл Euler;лучшими оказались простые методы низкого порядка (второго, а для дистиллированных моделей третьего), и мы сделали их доступными в выпадающем списке ComfyUI. С чего всё началосьВ прошлой работе (Flow-WLS, Zenodo) мы предложили многошаговый сэмплер с регуляризацией: он подгоняет к истории скоростей полином по взвешенным наименьшим квадратам и интегрирует его. Идея была в том, что такое сглаживание подавит высокочастотный шум, вызванный квантованием весов.

Технические детали

Это звучало разумно, и мы этого ждали. Прежде чем писать «подавляет», мы записывали в README гипотезы (сначала шесть, перед дополнительной серией ещё девять: H1-H15) и условия, при которых они считаются подтверждёнными. Это важная привычка: она не даёт подогнать вывод под результат.

Часть гипотез не подтвердилась, и они остались в тексте как есть. Что мерилиМодели: Anima (bf16, плюс симуляция FP8/INT8/INT4/NVFP4), Flux3-Klein INT8, Krea 2 INT8 (с ConvRot), Moss-Image INT8. 4 промпта, 2-3 seed, 8-24 шага, CFG 1-5.

Эталон: решение той же модели на большом числе шагов. Для Flux3 сравнивали два режима одной и той же INT8-модели: Q (реальные INT8-ядра с квантованием активаций) и D (те же веса, распакованные в bf16, без квантования активаций). Разница Q и D чисто показывает ошибку ядер.

Отраслевые последствия

Метрики: относительная ошибка латента (общая, по геометрии и по деталям), SSIM, LPIPS, наблюдаемый порядок сходимости, структура ошибки по шагам, парные доверительные интервалы относительно Euler. Результат 1: квантование безобидно, а шум белыйОшибка реальных INT8-ядер e = v_Q − v_D оказалась белой по времени: корреляция между соседними шагами −0,001, а накопленная ошибка совпадает с предсказанием для белого шума. Размер: 1,3% нормы скорости при CFG 1 и 5,7% при CFG 4.

Рост в 4,36 раза от CFG 1 к CFG 4 понятен: ошибка умножается на guidance, как и любая разность предсказаний. На итоговый латент это даёт 0,02 или меньше. В пространстве картинок расстояние между сошедшимися решениями Q и D: LPIPS 0,014 при CFG 1 и 0,029 при CFG 4.

Этот прогресс даёт важные сигналы о будущем отрасли, и технологический мир внимательно наблюдает.