Память, которая сама обрабатывает данные: как устроена LPDDR5X-PIM

Значимый прорыв формирует отрасль ИИ: mClouds_editor 33 минуты назад Объяснить с Память, которая сама обрабатывает данные: как устроена LPDDR5X-PIM 3 мин 1. 5K Блог компании mClouds. ru Компьютерное железо Читальный зал Искусственный интеллект IT-инфраструктура * Обзор В ряде задач производительность упирается не в скорость вычислений, а в обмен данными с памятью.

Решить эту проблему можно, если выполнять часть операций прямо там, где хранятся данные. Например, в своей LPDDR5X-PIM Samsung разместила вычислительные блоки внутри банков DRAM, чтобы часть данных не приходилось каждый раз отправлять процессору или ускорителю. Разберем, как это работает, какие операции можно перенести в память и что технология дала в тесте Llama 3.

Технические детали

Почему передача данных между памятью и процессором становится проблемойОбычно данные хранятся в памяти, а процессор или ускоритель постоянно забирает их для обработки и возвращает результаты обратно. Если вычислительные блоки работают быстрее, чем память успевает передавать им данные, начинается задержка вычислений. Особенно хорошо это видно на примере нейросетей.

Для работы модели ускорителю приходится постоянно получать из памяти ее веса и другие необходимые данные. Чем больше их объем, тем больше времени и энергии уходит на перемещение информации между памятью и ускорителем. Простое увеличение вычислительной мощности в такой ситуации уже не обязательно дает сопоставимый прирост скорости.

Один из способов ускорить этот обмен — выполнять часть операций там же, где хранятся данные. На этом и основана технология PIM, или Processing-in-Memory: память не только хранит информацию, но и берет на себя некоторые вычисления. Как удалось перенести часть вычислений внутрь LPDDR5XВ LPDDR5X-PIM Samsung разместила по одному вычислительному блоку в каждом из 16 банков памяти.

Отраслевые последствия

Они работают параллельно с данными внутри этих банков и поддерживают вычисления в форматах FP8, INT8 и INT4. В частности, память умеет выполнять умножение матрицы на вектор — операцию, которая часто используется в нейросетях. Емкость представленного Samsung чипа составляет 16 ГБ.

Архитектура LPDDR5X-PIM Samsung: в 16 банках DRAM размещены вычислительные PIM-блоки, которые могут параллельно выполнять операции над находящимися рядом данными. В результате меняется сам путь данных. В обычной LPDDR5X нужную информацию сначала приходится передать через внешний интерфейс памяти ускорителю, выполнить вычисление и при необходимости вернуть результат обратно.

В LPDDR5X-PIM часть операций происходит прямо внутри памяти. Наружу передается уже результат, поэтому объем данных, проходящий между памятью и ускорителем, можно сократить. Это дает PIM еще одно преимущество — доступ к данным внутри памяти оказывается намного шире внешнего канала.

Событие, по словам экспертов, усилит конкуренцию в сфере ИИ.