OpenCode с NorthMiniCode на своем железе

Вот важная новость с фронта ИИ: andreygaag 6 минут назад OpenCode с NorthMiniCode на своем железе Средний 5 мин 93 Open source * Инженерные системы * Настройка Linux * Ненормальное программирование * Искусственный интеллект Туториал Из песочницы В последнее время большинство обсуждений агентской разработки крутится вокруг Claude Code, Codex, Gemini CLI и других облачных инструментов. Но, с одной стороны, киты индустрии блокируют нам доступы снаружи, с другой — чиновничьи умы блокируют нам доступ изнутри, потому необходимо иметь под рукой локальный инструмент для агентской разработки. 9 июня 2026 вышла модель NorthMiniCode, в отличие от qwen и подобных, специально заточенная под агентские циклы.

Планирование, инструменты, редактирование, терминал — это то, на что заточена модель. Подробно разбирать архитектурные особенности будем в следующий раз, а сейчас опишу свой опыт развертывания данной модели и использования ее в OpenCode на домашнем компьютере. ЖелезоРешение по компоновке было временным, но стало постоянным, лишь добавилась крышка под углом для защиты от животныхУ меня такой домашний сервер/игровой/медиацентр, на котором гоняются всякие qwen, hashcat, Hermes и подобные, иногда играются StarCraft и каждый день ребёнок гоняет Minecraft и снимает видосы.

Технические детали

КомпонентЗначениеCPURyzen 7 5700GRAM64 GBGPU #1RTX 5060 Ti 16 GBGPU #2RTX 3060 12 GBOSUbuntu 24. 04 LTSЕсли бы было две 5060 — было бы проще и быстрее. Вообще, для модели рекомендуется минимум одна H100, но ее у меня тоже нет, работаем с тем, что есть.

Настройка среды для инференса Архитектура модели cohere2_moe в момент моего эксперимента была еще не добавлена в llama. cpp, пришлось собирать версию из PR. На момент написания статьи он уже влит в master, потому можно собирать из него:git clone cd llama.

cpp cmake -B build -DGGML_CUDA=ON cmake --build build --config Release -jЕсли сборка падает с ошибкой «Unsupported gpu architecture», следует обновить драйвер Nvidia и Nvidia CUDA до последней версии. После успешной сборки:. /build/bin/llama-cli --list-devicesдолжен показывать все имеющиеся видеокарты.

Отраслевые последствия

Качаем модельТут все просто, лучший способ — поставить huggungface cli, авторизоваться по токену и скачать GGUF версию в нужную директорию:hf download unsloth/North-Mini-Code-1. 0-GGUF \ --include "North-Mini-Code-1. gguf" \ --local-dir ~/models/north-mini-code Разумеется, при более мощном железе можно и нужно искать и качать другие веса.

Запускаем llama серверПервым делом следует учесть специфику железа - в случае с несколькими видеокартами правильно распределить по ним модель. cpp для этого используется параметр tensor-split. Для двух моих видеокарт:RTX 5060 Ti = 16 GBRTX 3060 = 12 GBПравильное значение для этого параметра --tensor-split 16,12что дает нам распределение по картам:57% -> GPU043% -> GPU1Далее — контекст.

Событие, по словам экспертов, усилит конкуренцию в сфере ИИ.