Запускаем LLM локально на майнинг ферме из 4 GPU

Значимый прорыв формирует отрасль ИИ: malyazin_2010 3 минуты назад Запускаем LLM локально на майнинг ферме из 4 GPU 3 мин 0 DevOps * DIY или Сделай сам GPGPU * Natural Language Processing * Видеокарты Кейс В последнее время становится все более популярным локальный запуск LLM. У каждогг свои причины, но основные это: проблемы с западными сервисами, нестабильный интернет и утечка данных в открытый доступ (преценденты уже были). В этой статье я расскажу как запускал LLM локально на майнинговом железе, какие тонкости есть при запуске.

Расскажу архитектуру моей сборки и примерную стоимость железа. Также протестирую скорость работы с некоторыми наиболее популярными MoE LLM, включая модели от гугла и ChatGPT. По поводу целесообразности подобных сборок решение каждый примет сам исходя из своих задач и финансовых ресурсов.

Технические детали

На хабре уже есть несколько статей про локальный запуск LLM на сборках из нескольких GPUЛокальный ИИ: майнинг плата+ 3 RTX 3090 Тут скорость работы GPT-oss-120B около 100 токенов в секунду. Как я собрал LLM-печку на 4 GPU и на что она способна. Тут 4 карты 3090 на игровой материнке показали 55т/сек на Qwen-35B-a3b-Q8 и 19 т/сек на Qwen 122B-Q5 при очень больших контекстах.

Темные лошадки ИИ - инференс LLM на майнинговых видеокартах Nvidia CMP40HX, CMP50HX, CMP90HX Тут cmp50hx+cmp90hx обогнали одну rtx3060 12g в инференсе gpt-oss 20b. 55т/c против 19 т/сВ этих статьях используются майнинговые GPU на игровых материнках либо игровые GPU на майнинговых материнках. Я же решил попробовать майнинговые GPU на майнинговых материнках.

То есть на обычной майнинг ферме. Перейдем к железу: у меня обычная майнинговая ферма из 2016 года. в последние 5 лет такое железо продается на барахолках по цене 10-20% от цены в 2016 году.

Отраслевые последствия

материнская плата:H510 Pro BTC+. Видеокарты: 3 штуки p106-100 и одна p104-100 (каждая карта по 1000-2000руб на авито). Корпус майнинговый название не помню.

Процессор i3-10100 , ОЗУ 32ГБ ddr3 кажется. Колесики для корпуса из леруа. Кулеры 5 шт с ручной регулировкой частоты вращения.

Порядок работы:Установка виндовсУстановка неофициальных драйверов под видеокарты (официальных у нвидиа нет для майнинговах карт под винду)Устанавливаем LM studio либо Kubold. ccp (старые gpu с архитектурой pascal работают чуть быстрее в Kubold, поэтому все тесты я проводил там)Прямо в LM studio находим и скачиваем нужные LLM. Я скачал gemma-4-26B-A4B-it-QAT-GGUF в Q4 Qwen3.

Этот прогресс даёт важные сигналы о будущем отрасли, и технологический мир внимательно наблюдает.