Почему «momentum»-сэмплер для ComfyUI рисует синюю кляксу на flow-модели и какой momentum на самом деле помогает

Вот важная новость с фронта ИИ: YakovSava 8 минут назад Краткое содержание статьи Почему «momentum»-сэмплер для ComfyUI рисует синюю кляксу на flow-модели и какой momentum на самом деле помогает 4 мин 30 Машинное обучение * Искусственный интеллект Python * Open source * Обработка изображений * В ComfyUI есть набор сэмплеров ComfyUI-Extra-Samplers с «momentumized»-вариантами DPM-Solver++. Я запустил dpmpp_dualsde_momentumized на Anima (flow-модель, bf16, CFG 8, 30 шагов) и получил вместо рисунка бледно-голубой силуэт. Тот же промпт на dpmpp_2m_sde_gpu даёт чистую картинку.

Дальше я разбирал, что именно сломано, а потом проверял, существует ли «momentum», который действительно уменьшает ошибку при том же числе вызовов сети. Коротко:поломка не в momentum: через обычный KSampler его коэффициент равен 0;сэмплер написан под variance-exploding модели, и на flow-модели его шаг добавления шума имеет неверную дисперсию: при eta = 1 латент разрастается (std 3-4,5 вместо 1,2), при eta = 0 тот же код рисует кота;«momentum» там экспоненциальное скользящее среднее предсказания данных. С положительным коэффициентом это фильтр нижних частот: он добавляет запаздывание и портит результат (до +61 % ошибки);с отрицательным коэффициентом та же рекурсия становится устойчивой экстраполяцией и снижает ошибку на 11-21 % при том же числе шагов (в детерминированном случае);это скромное ускорение, примерно в 1,2 раза меньше шагов при той же ошибке, а не вдвое.

Технические детали

Идея не новаяОговорка сразу. Momentum в сэмплировании диффузии уже исследовали. Ближайшая работа: Wizadwongsa и др.

, ICLR 2024 (arXiv:2307. 11118), где Heavy Ball momentum встраивают в существующие численные солверы, чтобы расширить область их устойчивости и убрать артефакты расходимости при малом числе шагов. Есть также сэмплер с momentum в стиле Adam (Wang и др.

11941), momentum для «странных» изображений (Jang и др. , AAAI 2024), TADA (arXiv:2506. 21757) и пакеты ComfyUI sonar и Seren Sampler (последний как раз для семейства Anima).

Отраслевые последствия

Я прочитал только аннотации и README, код этих пакетов не запускал и сравнений не делал. Какие знаки коэффициента перебирают авторы Heavy Ball, я не проверял, поэтому мой вывод «положительный коэффициент только добавляет запаздывание» не опровергает их работу: модель, солвер и метрика у нас разные. Чего я не нашёл: разбора, почему этот конкретный сэмплер ломается на flow-модели, и измерения при равном числе вызовов, как знак и величина такого momentum меняют ошибку.

Это утверждение о моём поиске, а не о всей области. Что именно сломаноШаг метода DPM-Solver++ в форме предсказания данных:x_t = (σ_t/σ_s)·e^(−ηh)·x_s + α_t·(1 − e^(−(1+η)h))·D_eff + шумВсе методы ниже отличаются только D_eff. dpmpp_dualsde_momentumized делает полный шаг 2S (два вызова сети) и затем добавляет сверху многошаговую поправку 3M.

Шаг 2S уже содержит второй порядок, так что поправка считается дважды: сэмплер расходится даже без шума, в 2-35 раз хуже dpmpp_2m при том же числе вызовов.

Событие, по словам экспертов, усилит конкуренцию в сфере ИИ.