Какую MoE-модель выбрать для локального кодинга на GTX 1080 Ti: перплексия против реальной скорости

В сфере искусственного интеллекта произошло заметное событие. В одной из своих статей, посвященной тестированию возможности запуска локальной модели на домашнем ПК, с не самой сильной и новой видеокартой, я показал, что 176B-класс Qwen3. 8-Flash-Next можно запустить на GTX 1080 Ti с 11 GB VRAM, если использовать llama. cpp, правильный offload и DeepSeek Harness.

Скорость оказалась скромной - около 11 токенов/с, но схема работала. В продолжение выбранной тематики, во второй статье для этого же оборудования был проведен отбор несколько MoE-моделей (35B, 120B, 176B) в реальной задаче - написание простого погодного сервера на Go. Победителем неожиданно стала Qwen3.

Технические детали

8-35B-A3B-Q4_K_M: она показала 30 токенов/с и справилась с задачей за 15 минут, тогда как Flash-Next «думала» три часа. После публикации в комментариях мне указали на несколько моделей, которые я пропустил. Я провёл свой «информационно-патентный поиск» и решил закрыть пробел: протестировать две основные модели, которые чаще всего упоминались, и одну дополнительную - Qwen3.

gguf, которая показалась мне интересной по описанию. В сегодняшней статье, я представлю результаты изменения перплексии (PPL) на двух корпусах: естественный язык WikiText-2 и Go-код, а также скорости генерации через llama-bench. Это даст более объективную картину, чем просто «написание программы на время».

Событие, по словам экспертов, усилит конкуренцию в сфере ИИ.