6 моделей, 3 инфраструктурных задачи, 1 локальный AI-агент

В сфере искусственного интеллекта произошло заметное событие. breakingtesting 2 часа назад 6 моделей, 3 инфраструктурных задачи, 1 локальный AI-агент Средний 5 мин 3. 7K Программирование * Искусственный интеллект DevOps * Кейс В прошлой статье было показано, что обычный MacBook Pro M2 16GB может с оговорками решать инфраструктурные проблемы используя локальную LLM. В этой статье будут показаны результаты решения более сложных инфраструктурных задач на более тяжеловесных моделях.

Если лень читать и листать до конца, то вот ключевые результаты:1. 6-27B не справился даже с лёгкой задачей - проигрывает как в качестве так и во времени решения2. 6-27B, хоть и плохо, но смог завершить эксперимент, в отличие от Gemma4-31-B 3.

Технические детали

На простой задаче MoE модели Qwen3. 6-35B-A3B и Gemma работают одинаково хорошо, однако Gemma тратит больше токенов и требовательнее к памяти. На средней задаче MoE Qwen3.

6 показал себя значительно лучше Gemma. В то время как на тяжелой задаче качество решения Qwen значительно упало, Gemma полностью провалилась. Качество решения тяжелой задачи с помощью рассматриваемых MoE моделей можно улучшить до идеала если точно описывать проблему.

Мой личный выбор - Qwen3. 6-35-A3B для проблем, которые сформулированы общими словами, Gemma4-26B-A4B - для чётко описанных проблем. Далее обо всём этом подробнее.

Отраслевые последствия

СодержаниеСостав испытательного стендаИнфраструктурные задачиЭкспериментыDense-Dense; простая задача (simple); обычный промпт (regular)Dense-MoE; простая задача (simple); обычный промпт (regular)MoE-MoE; простая задача (simple); обычный промпт (regular)MoE-MoE; средняя задача (medium); обычный промпт (regular)MoE-MoE; сложная задача (difficult); обычный промпт (regular)MoE-MoE; сложная задача (difficult); подробный промпт (precise)А как же обычный MacBook с 16GB? Состав испытательного стендаMacBook Pro M4 - 14 CPU (10+4), 20 GPU, 48GB Unified RAM (далее MB48)LMStudio 0. 6+1LMStudio MLX Runtime 1.

6-27B-4bitGemma4-31B-4bitMoEQwen3. 6-35B-A3B-4bitGemma4-26B-A4B-6bitNemotron3-Nano30B-A3B-8bitMoEMagistrall-Small-24B-4bitDense2. Инфраструктурные задачиНа схеме каждого эксперимента/задачи дан список проблем, которые модель должна решить для выполнения испытания.

За устранение каждой проблемы выставляется оценка от 0 до 2, где:0 (красный) - “не исправлено”1 (оранжевый) - “исправлено, но можно было бы правильнее”2 (зеленый) - “исправлено”. Состав Python+FastAPI приложенияmain. pyimport os from fastapi import FastAPI import internet app = FastAPI() @app.

Этот прогресс даёт важные сигналы о будущем отрасли, и технологический мир внимательно наблюдает.