Как я установил в свой игровой ПК серверный GPU за £200

Значимый прорыв формирует отрасль ИИ: Bright_Translate 9 минут назад Как я установил в свой игровой ПК серверный GPU за £200 Средний 10 мин 328 Блог компании RUVDS. com Искусственный интеллект Машинное обучение * Компьютерное железо Видеокарты Туториал Перевод Автор оригинала: Oscar Molnar У меня уже была установлена RTX 4080 с 16 ГБ VRAM. Её вполне достаточно для гейминга, но не для моделей, которые я хотел запускать локально.

Так что следующим шагом было либо приобретение дорогущей карточки с большим объёмом памяти, либо поиск другого способа. И я этот способ нашёл. Я купил видеокарту для дата-центра, у которой даже нет нормального коннектора PCIe, и подключил её к ПК через адаптер.

Технические детали

Теперь у меня в системе 32 ГБ VRAM от двух GPU, на которых работает модель с 27 миллиардами параметров, выдавая по 32 токена в секунду. И обошлось мне это всего в £200. GPU Я взял Tesla V100 SXM2 16GB.

Эта модель разрабатывалась для серверов NVIDIA DGX и OCP-стоек гиперскейлеров. Она имеет форм-фактор SXM2, то есть коннектора PCIe у неё нет. Стандартный разъём питания тоже отсутствует.

Эти карточки устанавливаются в проприетарные серверные стойки и обмениваются данными через интерфейс NVLink. Просто так вставить её в материнскую плату не выйдет. Но вот в чём суть: это видеочип Volta с 16 ГБ памяти HBM2 и 5120 CUDA-ядрами, который я купил на eBay примерно за £150.

Отраслевые последствия

На сегодня это по-прежнему весьма производительная карта с солидным объёмом VRAM. Самое же удивительное кроется в пропускной способности её памяти. HBM2 относится к отдельной весовой категории.

В V100 используется 4096-битная шина со скоростью передачи 900 ГБ/с. Для наглядности скажу, что в моей RTX 4080 с её модной GDDR6X скорость составляет 736 ГБ/с. То есть память V100 родом из 2017 на 22% быстрее, чем у GPU, выпущенного в 2022.

И в проигрыше тут не только потребительские карты NVIDIA — с продукцией Apple ситуация не лучше. К примеру, у чипа M3 Max скорость памяти 400 ГБ/с, у M4 Max — 546 ГБ/с, а у новейшего M5 Max — ноутбук с которым обойдётся вам дороже £3 000 — 614 ГБ/с. То есть видеокарта из 2017 года обходит все современные решения для Mac.

Этот прогресс даёт важные сигналы о будущем отрасли, и технологический мир внимательно наблюдает.