Два AMD Strix Halo в AI‑инфраструктуре: 34 контейнера на одном, ~70 tok/s Qwen3.6 на другом

Значимый прорыв формирует отрасль ИИ: AGmind 4 минуты назад Два AMD Strix Halo в AI‑инфраструктуре: 34 контейнера на одном, ~70 tok/s Qwen3. 6 на другом Средний 19 мин 131 Open source * Компьютерное железо Искусственный интеллект На узле моей AI‑платформы крутятся 34 контейнера: Dify, RAGFlow, векторные базы, мониторинг и SSO. Большой языковой модели среди них нет: основную генерацию стек получает по LAN с DGX Spark.

На втором таком же мини‑ПК я отдельно поднял локальную Qwen3. 6–35B‑A3B и прогнал серию замеров от 1K до 64K при контекстном окне 256K. Обе машины — Beelink GTR9 Pro на Ryzen AI Max+ 395 (Strix Halo).

Технические детали

Ниже — что эти коробки реально умеют: 117,4 ГиБ GTT после настройки ttm. pages_limit, p50/p95 локальных эмбеддингов и реранка, около 70 tok/s генерации через Vulkan/RADV и три грабли gfx1151. Что я хотел проверитьДержит ли машина полный Docker‑стек приватной AI‑платформы в непрерывной работе.

Есть ли linux/amd64‑образы для всего каталога, или придётся собирать своё. Работает ли Radeon 8060S (gfx1151) через Vulkan как основной путь инференса. Сколько из 128 ГБ общей памяти реально достаётся GPU и какой настройкой.

Пригодны ли локальные эмбеддинги и реранкер для рабочего RAG‑пайплайна. Какие ограничения у ROCm и мониторинга на этой платформе. Стенд и рабочая связка версийОба узла одинаковы по железу и системному ПО:ПараметрЗначениеМашинаBeelink GTR9 ProAPURyzen AI Max+ 395 (Strix Halo)CPU16C/32T Zen 5GPURadeon 8060S, 40 CU RDNA 3.

Отраслевые последствия

5, gfx1151Память128 ГБ LPDDR5X (единый пул)НакопительNVMe Crucial P310 2 ТБОСUbuntu 24. 0–35-generic (HWE)Mesa / RADV25. 3 (установленная и проверенная версия стенда)BIOSGTRPR05; выделенная в BIOS память GPU (UMA) — 512 МиБlinux‑firmware20240318.

git3b128b60-0ubuntu2. pages_limit=30788203 страниц: 117,4 ГиБ системной памяти для GPU; применяется после перезагрузкиРежим питанияBIOS‑профиль не фиксировался; производитель заявляет режимы 120/140 ВтРоли узлов разделены, поэтому измерения в статье не смешиваются:УзелРольЧто измерялосьStrix‑Aсервисный слой, 34 контейнераснимок ресурсов, лимиты, GTT‑настройка, embed/rerank, история рестартовStrix‑Bлокальная Qwen3. 6–35B‑A3Bprompt processing, decode, память модели, температура и мощностьВо время замеров на Strix‑B в GTT постоянно находились два llama‑сервера стороннего проекта: модели 8B Q5_K_M и 4B Q8_0.

Вместе с прочими буферами они занимали 11,8 ГиБ GTT. Запросов к ним не было, а загрузка GPU в паузах составляла 0%.

Этот прогресс даёт важные сигналы о будущем отрасли, и технологический мир внимательно наблюдает.