GigaChat 3.5 — меньше, быстрее, сильнее

В сфере искусственного интеллекта произошло заметное событие. chameleon-lizard 12 минут назад GigaChat 3. 5 — меньше, быстрее, сильнее Сложный 18 мин 454 Блог компании Сбер Natural Language Processing * Open source * Машинное обучение * Искусственный интеллект Обзор Салют, Хабр! Сегодня мы выкладываем в open source GigaChat 3.

5 Ultra — нашу новую 432B-модель. В этом релизе мы впервые для нашей линейки масштабировали собственную гибридную архитектуру на сотни миллиардов параметров, ускорили инференс и усилили модель в коде, агентных сценариях и сложных областях. 5 Ultra компактнее прошлого флагмана: 432 млрд параметров вместо 700 млрд у GigaChat 3.

Технические детали

Но это не компромисс «меньше, зато дешевле»: за счёт новых данных, обновлённого рецепта обучения и архитектурных изменений модель стала сильнее, а также эффективнее по памяти и скорости генерации. Добро пожаловать под кат. 5 — результат более чем 1500 экспериментов с данными, архитектурой, пайплайном обучения и гиперпараметрами.

Главное:Собственная гибридная архитектура. Мы совместили MLA-слои с GatedDeltaNet и добавили стабилизирующие механизмы, чтобы всe это устойчиво обучалось на масштабе сотен миллиардов параметров. Более дешёвый инференс.

В 432B-модели используется примерно в четыре раза меньше KV-кеша на токен, в ту же память помещается более чем в два раза больше контекста, а throughput вырос примерно на 20%. Меньше параметров, больше качества. Модель стала компактнее 700B-флагмана, но за счёт новых данных и рецепта обучения выросла в коде, агентных сценариях и сложных областях.

Отраслевые последствия

Ускорение генерации через MTP. Мы добавили дополнительные MTP-головы для self-speculative decoding: основной выигрыш дают первые две, ускоряя greedy decoding в 2,2 раза. FP8 на всех этапах обучения.

Пониженная точность ускорила обучение на десятки процентов и снизила потребление памяти без потери качества относительно bf16. аOnline RL в alignment. Новый этап после Pretrain → Stage 1.

5 → SFT → DPO улучшил Instruction Following, математику и качество модели на аренах. Данные для pretrainВ прошлых релизах фундамент pretrain мы во многом строили на синтетике: модель сама генерировала данные. На небольших моделях это работает отлично, но при сотнях миллиардов параметров и триллионах токенов синтетика со временем «схлопывается» в однотипность: разнообразие падает, покрытие реальных сценариев неполное.

Этот прогресс даёт важные сигналы о будущем отрасли, и технологический мир внимательно наблюдает.