35B‑модель на RTX 5080 и RTX 3060: 109 ток/с через PCIe Gen2 x4

Значимый прорыв формирует отрасль ИИ: intelidev 55 минут назад Объяснить с 35B‑модель на RTX 5080 и RTX 3060: 109 ток/с через PCIe Gen2 x4 Средний 10 мин 1. 9K Искусственный интеллект Компьютерное железо GPGPU * Кейс Из песочницы «Как MoE и послойный сплит обнуляют аргумент „одна видеокарта лучше двух“. »На Хабре этому посвящена отдельная статья: «Собираем сервер под свой локальный ИИ: сколько нужно VRAM и почему одна видеокарта лучше двух».

Там прямым текстом: «1 видеокарта на 32 ГБ лучше чем 2 по 16ГБ», а причина в шине. Второй слот на обычной материнке работает на урезанных x4 или x8, и обмен между картами упирается именно в него. Тот же спор идёт в комментариях под сравнениями вроде «две RTX 5060 Ti 16GB или одна RTX 3090 24GB» и в обсуждениях сборок на нескольких картах.

Технические детали

В комментариях к той же статье возражают сразу: 24 ГБ, мол, отлично тянут 27B и 35B‑MoE с контекстом 256K. У меня ровно тот случай, о котором предупреждает та статья: на материнской плате я сэкономил, и вместо неё стоит ASUS Prime B450-Plus, у которой второй слот x16 распаян как PCIe 2. То есть худший вариант из возможных, а не «ну чуть медленнее, чем x8».

6–35B‑A3B у меня работает на RTX 5080 и RTX 3060. Причём 3060 висит на PCIe Gen2 x4. Это 2 ГБ/с, в восемь раз медленнее, чем линия у 5080.

Скорость генерации: 109 токенов в секунду на коротком промпте и 77 на контексте 53 тысяч токенов. Разберу, почему это работает, и в каком случае аргумент про PCIe всё‑таки прав. СтендCPU: Ryzen 7 5800X, 8 ядер / 16 потоковRAM: 64 ГБ DDR4Матплата: ASUS Prime B450-Plus (второй слот x16 = PCIe 2.

Отраслевые последствия

0 x4)GPU 0: RTX 3060 12 ГБ, GDDR6, шина 192 бита, 15 Гбит/с → 360 ГБ/сGPU 1: RTX 5080 16 ГБ, GDDR7, шина 256 бит, 30 Гбит/с → 960 ГБ/сNVLink: нетOS: Arch Linux, ядро 7. 11 (i use arch btw)Драйвер 610. cpp build 10 738Суммарно 28 ГБ видеопамяти.

Полосы пропускания складывать нельзя: карты работают последовательно, а не параллельно. Про PCIe разговор особый, потому что это самая интересная часть стенда:GPU 0 (RTX 3060): Gen2 x4 ≈ 2 ГБ/с (карта умеет Gen4 x16) GPU 1 (RTX 5080): Gen3 x16 ≈ 16 ГБ/с (карта умеет Gen5 x16) 3060 стоит во втором слоте, который у B450-Plus по спецификации распаян как PCIe 2. 0 x4: четыре линии вместо шестнадцати, и не по ошибке сборки, а по замыслу платы.

Верхний слот плата отдаёт как PCIe 3. 0 x16, поэтому 5080 с её Gen5 тоже упирается в потолок B450. Обе карты висят на одном PCIe‑хосте.

Событие, по словам экспертов, усилит конкуренцию в сфере ИИ.