ИИ Qwen3.6-27B запустили на смартфоне: 1 бит на вес и 90% интеллекта оригинала

Вот важная новость с фронта ИИ: runaway_llm 8 минут назад ИИ Qwen3. 6-27B запустили на смартфоне: 1 бит на вес и 90% интеллекта оригинала Простой 3 мин 219 Искусственный интеллект Машинное обучение * Смартфоны Обзор Стартап PrismML представил Bonsai 27B — сжатые версии открытой модели Qwen3. 6-27B, младшая из которых стала первой нейросетью такого класса, которая помещается в память смартфона.

Веса выложены на Hugging Face под лицензией Apache 2. 0, а в демонстрациях PrismML модель работает прямо на iPhone 17 Pro Max — рассуждает, вызывает инструменты и разбирает скриншоты без единого обращения к облаку. В стандартной 16-битной точности Qwen3.

Технические детали

6-27B занимает около 54 ГБ, и даже приличная 4-битная сборка весит порядка 18 ГБ — слишком много не только для телефона, но и для большинства ноутбуков. PrismML выпустила два варианта: тернарный (для ноутбуков и недорогих видеокарт), где каждый вес принимает одно из трех значений {-1, 0, +1} и модель ужимается до 5,9 ГБ, и бинарный (экстремальное сжатие для смартфонов) — только {-1, +1}, 3,9 ГБ и 1,125 бита на вес. Точность спасают общие FP16-множители: один масштабный коэффициент на каждую группу из 128 весов.

Причем низкобитное представление применено ко всей языковой сети целиком — эмбеддингам, вниманию, MLP-слоям и выходному слою (LM head), без "островков" повышенной точности (они спасают качество, но раздувают реальный размер, поэтому у моделей с "2 битами" в названии на деле выходит в среднем 2,8 бита на вес). Несмотря на то, что iPhone 17 Pro Max оснащен 12 ГБ памяти, одному приложению в iOS выделяется не более 6 ГБ — и в этот бюджет должна влезть не только модель, но и растущий с контекстом KV-кэш вместе с активациями. Ни одна обычная сборка 27-миллиардной модели даже не приближается к этой планке — а бинарная Bonsai 27B со своими 3,9 ГБ проходит, и у нее еще остается место для работы.

PrismML прогнала обе версии через 15 бенчмарков в шести категориях, причем в thinking-режиме, где модель рассуждает в полную силу. По данным компании, тернарная версия сохраняет 95% от уровня исходной модели, бинарная — 90%. Просадка при этом неравномерная:математика (GSM8K, MATH-500, AIME) почти не пострадала: 95,3 балла у оригинала против 93,4 и 91,7 у сжатых версий;программирование просело умеренно: с 88,7 до 86,0 и 81,9;сильнее всего досталось агентным задачам и вызову инструментов (BFCL v3, TauBench): с 80,0 до 74,0 у тернарной и до 66,0 у бинарной — и это заметный удар именно по тому сценарию, под который PrismML позиционирует модель.

Отраслевые последствия

Сама по себе квантизация модели — метод не новый. Однако обычные методы часто "ломаются" ниже 4 бит. PrismML показывает на примере обычной 2-битной сборки того же Qwen: она держится на коротких тестах знаний вроде MMLU, но проваливается там, где нужны длинные цепочки рассуждений — до 57,5 балла на AIME26 и 56,4 на LiveCodeBench.

При поверхностном тесте это можно и не заметить — а затем модель подведет в сложном сценарии.

Этот прогресс даёт важные сигналы о будущем отрасли, и технологический мир внимательно наблюдает.