Маленькая модель на 0.6B держит квантование лучше, чем «крупная» на 1B: измерил деградацию function-calling на 4 ГБ VRAM

Значимый прорыв формирует отрасль ИИ: Happynood 8 минут назад Маленькая модель на 0. 6B держит квантование лучше, чем «крупная» на 1B: измерил деградацию function-calling на 4 ГБ VRAM Средний 10 мин 135 Машинное обучение * Python * Open source * Высоконагруженные системы * DevOps * Началось всe с очень приземленной задачи. У меня ноутбук с RTX 3050 и четырьмя гигабайтами видеопамяти, и я хочу гонять на нeм маленькую модель, которая умеет вызывать инструменты: заполнять JSON по схеме, выбирать нужную функцию, не звать еe там, где не надо.

Чтобы модель влезла, еe приходится квантовать, и вот тут возникает вопрос, на который я так и не нашeл честного ответа: насколько сильно квантование ломает именно способность к вызову инструментов, а не абстрактное «качество» модели. Обычно рассуждают так. Берут табличку с BFCL или ToolACE, смотрят на средний балл и прикидывают: раз модель побольше, значит и запас прочности у неe больше, а если квант Q4 «безопасен» для одной модели, то и для соседней, наверное, тоже сойдeт.

Технические детали

Обе эти интуиции у меня на данных не подтвердились, причeм одна из них развалилась особенно наглядно. Я собрал бенчмарк QuantCall, прогнал через него три модели на разных уровнях квантования против задач BFCL, и главный результат оказался таким: то, насколько модель просядет от квантования, определяется не еe размером, а тем, из какого она семейства. 2-1B, у которой на бумаге в полтора раза больше параметров, теряет валидность вызовов на каждом проверенном уровне квантования, вплоть до самого щадящего Q8_0.

6B, которая почти вдвое меньше, держится ровно, и первая статистически значимая просадка у неe появляется только на Q4_K_M, да и то не по валидности схемы, а по корректности аргументов. Размер тут не спасает, спасает семейство. Таблица лидерборда QuantCall с прогонами, отсортированная по FCRВерхняя часть живой таблицы, отсортированной по FCR.

Обе модели Qwen3, и 0. 7B, держатся кучно в районе 0. 88 по SVR и занимают весь топ.

Отраслевые последствия

2-1B в этот кадр не попали — у неe FCR заметно ниже, и в таблице она висит существенно дальше вниз, что само по себе уже показательно. Зачем свой бенчмарк, если есть BFCLВозражение понятное: BFCL уже всe измерил, зачем городить свое. Но меня интересует не тот вопрос, на который отвечает BFCL.

Публичные лидерборды показывают, насколько модель вообще умеет вызывать инструменты, и почти всегда сравнивают модели между собой в полной точности. Мой вопрос уже: у конкретной модели, которую я собираюсь квантовать под свое железо, как именно поедет кривая деградации по уровням кванта, и в какой момент ей перестанет можно доверять заполнение аргументов. Это ровно то, что решает, влезет модель в мои четыре гигабайта или нет, и стоит ли после этого пускать еe к инструментам.

Поэтому весь бенчмарк устроен так, чтобы его можно было повторить у себя, ничего не заплатив и никуда не сходив по сети.

Событие, по словам экспертов, усилит конкуренцию в сфере ИИ.