Как я собрал LLM-печку на 4 GPU, и на что она способна

В сфере искусственного интеллекта произошло заметное событие. Liugger 10 минут назад Как я собрал LLM-печку на 4 GPU, и на что она способна Простой 17 мин 400 Компьютерное железо Искусственный интеллект Кейс Всем привет, недавно я собрал и сейчас активно использую ПК для локального запуска хоть сколько-то серьезных LLM, и захотелось поделиться этим опытом с сообществом. На статью меня сподвигло то, что в рунете до обидного мало информации на тему, как собрать ПК на несколько GPU не на майнерском, не на серверном или не на HEDT, а именно на пользовательском железе. Надо сразу сказать, что о бюджетных комплектующих здесь речь не пойдет, ибо какой тут интерес: можно собрать игровой комп с 32 Гб DDR5 и RTX 3090 - и задача решена.

Мы будем говорить про 96 Гб VRAM на добротной игровой материнке в ПК, который не будет напоминать монстра Франкенштейна. Статья для тех, кто начал разбираться в теме, или самых новичков, которым почему-то не интересны AMD Strix Halo, Mac studio и DGX Spark. Помимо сборки расскажу и то, какие модели и как она позволяет запускать.

Технические детали

Также поделюсь своим опытом использования моделей в локальном агентском кодинге. Опыт запуска LLM охватывает только llama. cpp на windows 11 без WSL, инфраструктура для кодинга - Opencode.

СборкаМатеринская плата: ASUS ROG STRIX x870E-e GAMING WIFI RAM: 192 Гб (4x48) Corsair Vengeance одним набором, завелось на скорости 3600 МТ\с, и это грустно, когда речь идет о MoE-моделях с выгрузкой слоев в RAM CPU: AMD Ryzen 9950x Охлаждение CPU: СЖО arctic liquid freezer III 420 мм. Хранилище: 3xSSD, 3xHDD. В рамках статьи важно, что используются 3 M2 SSD при 5 слотах на материнке.

Суммарно более 18 Тб места: можно много моделей держать и тестировать. GPU: (2xRTX 3090 + 2xRTX 3090Ti):Gagibyte AORUS GeForce RTX™ 3090 XTREME WATERFORCE 24GINNO3D GeForce RTX 3090 iCHILL X3Palit GeForce RTX 3090 Ti GameRockASUS ROG Strix LC GeForce RTX 3090 TiБП: Thermaltake toughpower i2000w Корпус: Fractal Design Meshify 2 XL. Благодарю моего друга Серегу, который посоветовал мне его, когда я только начинал думать про сборку нового ПК, а речи о нескольких GPU даже и не шло.

Отраслевые последствия

Существующая сборка получилась в 4 этапа:В феврале 2025 года еще до дефицита RAM собрал новый для себя ПК, так как предыдущий уже прослужил 5 лет к тому моменту и требовал замены. Отличие от финальной сборки: 64 Гб RAM, только 1 rtx 3090 ti (от Palit), БП на 1. 3 Квт и 2 SSD + 2 HDDГде-то в апреле 2025 года заменил RAM на комплект в 192 Гб.

Повезло, что решился, так как в тот момент взял комплект за 56 тыс. Тогда испытал кайф от того, что можно обучать модели на реально большом объеме данных, не заморачиваться с оптимизацией, рассчитывать попарные расстояния на ~150 тыс. эмбеддингов и не страдать от OOM.

Первая версия сборкиВ апреле 2026 года решил, что тема локальных агентов и LLM мне близка, и я бы хотел иметь возможность спокойно жечь токены в своих экспериментах, не переживая за какие-либо лимиты.

Этот прогресс даёт важные сигналы о будущем отрасли, и технологический мир внимательно наблюдает.