Локальный LLM-сервер на AMD Strix Halo: запуск Qwen3.8-Flash-Next через HALOGEN в Fedora 43

Вот важная новость с фронта ИИ: sN00b 48 минут назад Краткое содержание статьи Локальный LLM-сервер на AMD Strix Halo: запуск Qwen3. 8-Flash-Next через HALOGEN в Fedora 43 Простой 9 мин 884 Linux * Туториал Из песочницы Ещё недавно «запустить LLM у себя» почти всегда означало одно: discrete GPU с парой десятков гигабайт VRAM. AMD Strix Halo с 128 ГБ унифицированной памяти эту привычку ломает — крупные MoE-модели на нём заводятся спокойно, если inference-движок умеет работать с общей памятью, memory mapping и своеобразием встроенной графики.

Ниже — практическая настройка Qwen3. 8-Flash-Next на Fedora 43 Server через HALOGEN: OpenAI-совместимый API, ключ, четыре параллельные сессии и доступ снаружи через порт 9091. 8-Flash-NextЭто не «обычная» модель даже по меркам MoE.

Технические детали

Внутри — смесь экспертов (MoE), гибридное внимание и отдельные N-gram embeddings. Если коротко:ПараметрЗначениеОсновная модель125 млрд параметровАктивируется на токеноколо 6 млрд параметровN-gram embedding tableоколо 51 млрд параметровMTP-headоколо 4 млрд параметровКоличество слоёв48MoE-экспертов512 routed + 1 sharedАктивных routed-экспертов10Нативный контекст262 144 токенаМаксимальный расширенный контекстдо 1 000 000 токеновВозможноститекст и опционально изображенияВ чём фокус MoE: суммарная ёмкость модели огромная, но на каждом токене она считает лишь малую часть весов. Поэтому и получается скорость выше, чем у плотной модели такого же полного размера.

Почему HALOGEN, а не llama. cppУ Strix Halo unified memory architecture: CPU и встроенный GPU делят одну LPDDR5X-память. Отдельной физической VRAM, как у дискретных NVIDIA или Radeon, здесь просто нет.

HALOGEN рассчитан именно на такое устройство:заточен под GPU gfx1151;хранит веса в собственном формате . hgn;не пытается копировать весь комплект весов в «VRAM»;держит N-gram lookup table через memory mapping;ускоряет генерацию с помощью MTP/speculative decoding;отдаёт наружу OpenAI-совместимый HTTP API. Это не универсальная замена llama.

Отраслевые последствия

cpp или vLLM — все его преимущества вытекают из узкой заточки под одну архитектуру GPU и одну линейку моделей. И сразу важный момент про BIOS: параметр UMA Frame Buffer выставляйте в минимальное фиксированное значение, а не оставляйте Auto. HALOGEN нужен доступ к обычной памяти хоста, а большой статический резерв под iGPU только съедает доступную RAM.

Сколько места нужно на дискеСтандартный набор весов HALOGEN выглядит так:ФайлРазмерНазначениеqwen38-flash-next-v2. hgn62,1 GiBОсновной checkpointqwen38-flash-next-ngram. hgn47,7 GiBN-gram lookup tabletokenizer/небольшойТокенизаторВсегооколо 110 GiBТекстовая модельqwen38-flash-next-vision.

hgn0,84 GiBОпциональная поддержка изображенийqwen38-flash-next-mtp. hgn1,42 GiBDraft-head для стороннего GGUFПри первом запуске HALOGEN сам скачает нужные файлы, если передать ему:-e HALOGEN_DOWNLOAD=peonist-ai/halogen-qwen3. 8-flash-next Свободного места закладывайте не меньше 120–140 ГБ: помимо самих весов понадобятся служебные файлы и запас под обновления.

Этот прогресс даёт важные сигналы о будущем отрасли, и технологический мир внимательно наблюдает.