Зачем AMD это сделали? Instinct MI350P на 144 ГБ

В сфере искусственного интеллекта произошло заметное событие. skovalev 5 минут назад Зачем AMD это сделали? Instinct MI350P на 144 ГБ 4 мин 3 Блог компании Selectel Видеокарты IT-инфраструктура * Машинное обучение * Серверная оптимизация * Мнение Актуальное на сегодняшний день поколение серверных ускорителей AMD — это MI350X и MI355X на архитектуре CDNA 4. На борту — 288 ГБ HBM3E и 8 ТБ/с пропускной способности на модуль.

Разница между ними — в тепловом пакете: MI350X охлаждается воздухом, а MI355X требует жидкостного охлаждения. Эти устройства поставляются в серверах в восьмикарточной конфигурации — суммарно получается 2,3 ТБ HBM3E, связанных через Infinity Fabric. Это уже серьезные машины для обучения и инференса больших моделей — с соответствующей ценой и требованиями к электроснабжению и охлаждению.

Технические детали

Несколько дней назад AMD анонсировали GPU Instinct MI350P — первую с 2022 года PCIe-карту серии Instinct, которая устанавливается в любой сервер с поддержкой двухслотовых GPU с воздушным охлаждением. Удобно и универсально, новинку точно стоит рассмотреть подробнее. Вид на внутреннее устройство AMD Instinct MI350P: архитектура CDNA 4 с использованием техпроцесса TSMC 3 нм и продвинутой компоновки чиплетов.

Технические характеристики AMD Instinct MI350PЕсли коротко: AMD Instinct MI350P — это буквально половина MI350X. Техпроцесс XCD: TSMC N3 — такой же, как у MI350X. Техпроцесс IOD: TSMC N6 — один кристалл в MI350P вместо двух у MI350X.

У предшественника восемь XCD-кристаллов (вычислительных чиплетов), а у MI350P — четыре. Из этого вытекает все остальное. Вычислительные блоки: 128 CU — 8 192 потоковых процессора и 512 матричных ядер.

Отраслевые последствия

Производительность (MXFP4): номинальные 2,3 Пфлопс и пиковые 4,6 Пфлопс. FP64: 36 Тфлопс (вектор и матрица). Память: 144 ГБ HBM3E.

Пропускная способность памяти: 4 ТБ/с. Кэш: 128 МБ Infinity Cache. TBP: 600 Вт (можно снизить до 450 Вт в режиме пониженного энергопотребления).

Питание: 16-контактный разъем. Форм-фактор: двухслотовый FHFL, воздушное охлаждение. 264, VP9, AV1 + (M)JPEG.

Этот прогресс даёт важные сигналы о будущем отрасли, и технологический мир внимательно наблюдает.