Мы сжали нейросеть до 2 бит: математика рухнула с 81% до 6%. Но 27B нас удивила

Значимый прорыв формирует отрасль ИИ: Недавно мы опубликовали эксперимент, в котором удалось запустить Qwen3. 8-27B целиком на RTX 5060 с 8 ГБ видеопамяти и получить около 30 токенов в секунду. Результат оказался неожиданно интересен сообществу.

Но в комментариях довольно быстро появился закономерный вопрос: а насколько сильно отупела модель после такого сжатия? Можно поместить хоть 100 миллиардов параметров в несколько гигабайт, но если модель после этого не может решить элементарную задачу, практической пользы немного. Поэтому мы временно отложили оптимизацию скорости и занялись проверкой качества.

Технические детали

Результаты оказались гораздо интереснее, чем мы ожидали. Сначала немного контекстаНаш проект называется ExVRAM Lab. Это открытая исследовательская лаборатория, посвящённая запуску больших языковых моделей на обычных потребительских видеокартах с ограниченной памятью.

В первой статье мы показали, что Qwen3. 8-27B в формате UD-IQ2_XXS полностью размещается на RTX 5060 8 GB. На реально заполненном контексте около 8 тысяч токенов медианная скорость пяти запусков составила 30,10 токена/с, а пиковое потребление VRAM — 7767 MiB.

То есть с точки зрения размещения модели в памяти и скорости генерации задача была решена. Но оставался главный вопрос: сколько способностей исходной модели мы потеряли ради этих цифр? IQ2_XXS — очень агрессивный формат квантования.

Он позволяет существенно сократить объём весов, но вместе с этим возникает риск искажения вычислений. Причём влияние квантования может быть неодинаковым. Модель способна нормально отвечать на простые вопросы, но ошибаться в математике, терять последовательность рассуждений или переставать выполнять сложные инструкции.

Этот прогресс даёт важные сигналы о будущем отрасли, и технологический мир внимательно наблюдает.