Квантование ломает вызов инструментов не так, как показывает BFCL: проверил на MCP-серверах

Значимый прорыв формирует отрасль ИИ: Happynood 26 минут назад Квантование ломает вызов инструментов не так, как показывает BFCL: проверил на MCP-серверах Средний 7 мин 0 Машинное обучение * Python * Open source * Высоконагруженные системы * DevOps * Есть простая практическая задача, из-за которой я вообще все это затеял. Вы берете маленькую модель, квантуете ее, чтобы она влезла в ноутбучную видеокарту, и хотите заранее понимать, насколько просядет ее способность вызывать инструменты. Обычно для этого смотрят на BFCL или ToolACE: там все измерено, есть таблицы, есть готовые цифры деградации по уровням квантования.

И кажется логичным, что этими цифрами можно пользоваться. Оказалось, что нельзя. Точнее, можно, но результат будет вводить в заблуждение вместо того, чтобы помогать.

Технические детали

Я собрал бенчмарк QuantMCP, который берет те же самые модели и те же уровни квантования, но направляет их на схемы инструментов серверов Model Context Protocol вместо курируемых схем бенчмарка. И корреляция между тем, как модель деградирует на BFCL, и тем, как та же модель деградирует на MCP-схемах, получилась равна минус 0. 755 (ранговая корреляция Спирмена по 8 парам «модель × квант», три семейства моделей).

То есть рейтинг «какой квант сильнее всего вредит этой модели», снятый на BFCL, на схемах не просто теряет предсказательную силу, он систематически указывает в противоположную сторону. И что мне кажется самым важным: когда я добавил третье семейство моделей и данных стало больше, корреляция не поползла к нулю, как бывает, когда изначальный сигнал был шумом. Она стала еще более отрицательной.

На двух семействах было минус 0. 551 по шести парам, добавление Qwen3-1. 7B сдвинуло ее до минус 0.

Отраслевые последствия

Диаграмма рассеяния Cross-Benchmark Consistency: дельта деградации на BFCL против дельты на MCP-схемах, ρ = -0. 755Вкладка Cross-Benchmark (CBC) лидерборда. Точки не лежат вдоль диагонали, а расходятся по разным квадрантам - это и есть отрицательная корреляция в виде картинки.

Это прямое продолжение прошлой статьи про соседний проект QuantCall. Там я на курируемых схемах BFCL намерил, что квантование ломает Llama-3. 2-1B на каждом уровне, включая самый щадящий Q8_0, а оба Qwen3, и меньшая на 0.

Вывод оттуда был такой: деградацию от квантования предсказывает семейство модели, а не ее размер. И заканчивал я ту статью открытым вопросом. Схемы BFCL аккуратные и короткие, их специально причесывали под бенчмарк, а что будет, если направить те же модели и те же кванты на схемы настоящих серверов, которых никто не приглаживал.

Этот прогресс даёт важные сигналы о будущем отрасли, и технологический мир внимательно наблюдает.