Энтузиаст запустил GLM-5.2 на ноутбуке с 25 ГБ RAM: без дистилляции, но на скорости от 0,05 токена в секунду

Значимый прорыв формирует отрасль ИИ: Разработчик-одиночка под ником JustVugg представил Colibri — движок, который запускает открытую модель GLM-5. 2 с 744 миллиардами параметров на обычном компьютере с 25 ГБ оперативной памяти. Для сравнения, даже 2-битный квант моделей этого семейства требует порядка 220 ГБ памяти.

На момент написания текста проект собрал более двух тысяч звезд на GitHub. 2 — флагманская открытая модель китайской Z. ai, веса опубликованы под лицензией MIT: 744 миллиарда параметров всего, из них около 40 миллиардов активных на токен, контекст до миллиона токенов.

Технические детали

На кодинг-бенчмарках она считается сильнейшей открытой моделью, которая "дышит" в спину закрытым конкурентам вроде Opus 4. Проблема в том, что при классическом подходе все веса модели должны находиться в памяти одновременно — отсюда минимум для запуска в сотни гигабайт. Ключевое наблюдение автора Colibri: в MoE-архитектуре от токена к токену реально меняется лишь малая часть задействованных весов.

Плотная часть модели — внимание, эмбеддинги и общие эксперты, около 17 миллиардов параметров — постоянно находится в памяти в int4-кванте и занимает 9,9 ГБ. А 21 504 маршрутизируемых эксперта, каждый примерно по 19 МБ, лежат на NVMe-накопителе (около 370 ГБ) и подгружаются по требованию. Важная оговорка: модель не урезана и не дистиллирована, все 744 миллиарда параметров на месте, но веса сжаты до 4 бит — это тот же компромисс, что и у привычных квантов GGUF.

На каждый новый токен модель опрашивает 8 экспертов в каждом из 75 MoE-слоев, так что без прогретого кэша один токен обходится примерно в 11 ГБ прочитанных с диска данных (о том, как это влияет на износ — дальше по тексту).

Событие, по словам экспертов, усилит конкуренцию в сфере ИИ.