Tensordyne Napier — еще одно решение на замену традиционных GPU в инференсе

В сфере искусственного интеллекта произошло заметное событие. skovalev только что Tensordyne Napier — еще одно решение на замену традиционных GPU в инференсе Простой 6 мин 9 Блог компании Selectel IT-компании IT-инфраструктура * Видеокарты Компьютерное железо Аналитика Модульная ИИ-платформа TDN. Почти каждый месяц очередной стартап, производящий серверное железо, объявляет о своих ноу-хау. Естественно, ориентированных на задачи инференса и обучения ML-моделей.

И пусть до реального использования в дата-центрах доходит лишь малая их часть, мы стараемся следить за всеми апдейтами, чтобы не пропустить ту новинку, которая, возможно, изменит рынок. С вами Сергей Ковалёв, менеджер продукта Selectel, а под катом вас ждут подробности об очередной чудо-железке. Что появилосьИИ-процессор Tensordyne TDN AIP.

Технические детали

Стартап Tensordyne представил чип Napier™ и стоечную систему на его основе. Партнерами проекта выступают Broadcom по части кремния и HPE® Juniper Networks® по сетевой части. Производство заявлено на 3-нанометровом процессе TSMC.

Из важных заявлений — пройден тейп-аут, то есть финальная версия дизайна чипа отправлена на заводское производство. Суть архитектуры: логарифмы превращают умножение в сложение. Сумматоры компактнее и экономичнее умножителей, освободившаяся площадь идет под SRAM.

По заявлению компании, на чипе в пять раз больше SRAM, чем у NVIDIA® Blackwell™. Static Random-Access Memory (SRAM) — это быстрая память прямо на кристалле чипа. В отличие от HBM, которая стоит отдельно рядом с процессором, SRAM «живет» внутри него и работает на порядок быстрее.

Отраслевые последствия

Производство такой памяти стоит дорого, а на чипе она занимает много площади, поэтому ее объем зачастую небольшой. В контексте инференса это важно: модель постоянно обращается к весам и KV-кэшу (рабочая память токенов). Чем «ближе» эти данные к вычислительным ядрам, тем быстрее инференс.

HBM быстрее обычной DDR-памяти, но все равно медленнее SRAM. Поэтому заявление Tensordyne о пятикратном перевесе SRAM над NVIDIA® Blackwell™ очень похоже на правду. Чем больше SRAM, тем меньше обращений к HBM и потенциально выше реальная пропускная способность на токен.

Характеристики устройствСтоечный модуль ИИ-инференса Tensordyne TDN72 Pod. Чип:138 млрд транзисторов;вычислительная мощность: 2,1 петафлопс в формате FP8;память: 144 ГБ HBM3E, 256 МБ SRAM на кристалле;потребление — 300 Вт (против 1 200 Вт у NVIDIA® B300). Девять чипов составляют один одноюнитовый узел в паре с 40-ядерным процессором Intel® Xeon® и 8 ТБ NVMe диском.

Событие, по словам экспертов, усилит конкуренцию в сфере ИИ.