RAM через PCIe: как CXL позволяет расширять память серверов

Значимый прорыв формирует отрасль ИИ: mClouds_editor 26 минут назад RAM через PCIe: как CXL позволяет расширять память серверов 4 мин 997 Блог компании mClouds. ru IT-инфраструктура * Системное администрирование * Компьютерное железо Читальный зал Обзор Сервер может упереться в объем установленной памяти раньше, чем загрузит все процессорные ядра. В облачных средах уже становятся базовыми процессоры от 64-х ядер на сокет, а слотов под память DDR5 не так уже и много.

В итоге нагрузку приходится размещать на других серверах, так как процессорной мощности еще достаточно, а объема памяти еще нет. Плюс учитываем, что часть памяти хоста резервируется для отказоустойчивости, в случае выхода из строя или обслуживания других хостов в облаке или он-прем инфре. Цены на серверную память, также не радуют сейчас и тенденция пока не просматривается в сторону уменьшения цен и увеличения доступности.

Технические детали

Один из способов облегчить вопросы с недостатком памяти в серверах - использование CXL технологии. CXL позволяет увеличить емкость доступной памяти хоста, подключением дополнительного объема памяти DDR4 через PCI-E. Разбираемся, как устроена такая система, чем дополнительная память отличается от основной и почему компании уже применяют CXL в своей инфраструктуре.

Как дефицит памяти решает CXLПри работе с памятью в сервере важен не только объем, но и задержки доступа, скорость работы. Ниже рассмотрим, в основном, первую проблему, а именно недостаток объема и как CXL помогает решать эту задачу. Тут сразу стоит заметить, что для серверов, где используются процессоры AMD Epyc или Intel Xeon , с числом ядер до 64-х на сокет, проблема недостатка памяти на хосте не является актуальной, даже учитывая ее рост за год более чем в пять раз, и чем более емкая планка памяти, тем выше стоимость за модуль.

Один из способов обойти ограничение доступных физически слотов под память, а также каналов памяти для конкретного CPU — вынести часть памяти за пределы стандартных каналов DDR и подключить ее через CXL. Такой подход позволяет наращивать объем оперативной памяти более независимо от процессора и использовать свободную вычислительную мощность сервера эффективнее. Как работает CXL-памятьCXL позволяет добавить к серверу память, которая не занимает обычные каналы DDR процессора.

Отраслевые последствия

В системе она подключается через PCIe 5. 0 с помощью специальных контроллеров, например Vistara. Для операционной системы такая память остается адресуемой как оперативная: приложения могут использовать ее вместе с локальной DRAM, а не обращаться к ней как к накопителю.

Linux может работать с такой памятью и видеть ее как системную. Сама по себе серверная платформа также должна поддерживать CXL. Поэтому применяемость на сегодня достаточно ограничена и не является массовой.

Разберем на примере серверной платформы MemServer. В ней установлено 768 ГБ локальной DDR5 и еще 256 ГБ DDR4 через CXL — в сумме 1 ТБ памяти на сервер. Дополнительный объем подключают через два контроллера Vistara.

Этот прогресс даёт важные сигналы о будущем отрасли, и технологический мир внимательно наблюдает.