Как я объединил четыре Mac Studio в один компьютер с 1,5 ТБ – и запустил ИИ, который не влезает ни в одну видеокарту

В сфере искусственного интеллекта произошло заметное событие. ZheleznyChel 26 минут назад Как я объединил четыре Mac Studio в один компьютер с 1,5 ТБ – и запустил ИИ, который не влезает ни в одну видеокарту Простой 10 мин 773 Блог компании Timeweb Cloud macOS * Компьютерное железо Искусственный интеллект Машинное обучение * Кейс Перевод Автор оригинала: Jeff Geerling Компания Apple предоставила мне этот кластер из Mac Studio для тестирования технологии RDMA через Thunderbolt – новой фичи в macOS 26. Проще всего обкатать её в деле с помощью Exo 1. 0 – открытого инструмента для распределения задач искусственного интеллекта в локальных сетях.

Благодаря технологии RDMA, подключённые маки объединяют свою оперативную память в единый исполинский пул, что даёт колоссальный буст при запуске тяжеловесных нейросетей. Сияющая стопка Mac Studio с суммарным объёмом унифицированной памяти в 1,5 ТБ обойдётся в 40 000 долларов. К счастью, Apple просто одолжила мне эти компьютеры для тестов.

Технические детали

Также хочу сказать огромное спасибо компании DeskPi, которая прислала мне компактную четырёхопорную мини-стойку, куда этот кластер так аккуратно и поместился. На моей памяти в последний раз Apple всерьёз заявляла о себе в сфере высокопроизводительных вычислений (HPC) ещё в начале нулевых – тогда они выпускали свои знаменитые серверы Xserve. В те годы у купертиновцев было проприетарное решение для создания кластеров под названием Xgrid… которое в итоге провалилось.

Несколько университетов ради интереса собрали на этой базе учебные кластеры, но широкого признания технология не получила. Сегодня и линейка Xserve, и сам Xgrid стали лишь блёклым воспоминанием из прошлого. Не знаю, вышло ли это случайно или Apple вела тонкую долгосрочную игру, но Mac Studio на чипе M3 Ultra оказался идеальным инструментом для локального запуска нейросетей.

А теперь, благодаря поддержке RDMA, задержка при обращении к памяти рухнула с 300 мкс до скромных < 50 мкс – и объединение машин в кластер наконец-то даёт реальный, ощутимый прирост производительности, жизненно необходимый для работы гигантских языковых моделей. Вдобавок эти крохи превосходно справляются с творческими приложениями и даже несложными научными расчётами. При этом вся система потребляет менее 250 Вт электроэнергии и работает практически бесшумно, едва уловимо шелестя кулерами.

Отраслевые последствия

Два нижних компьютера в стойке оснащены исполинскими 512 ГБ объединённой памяти и 32 процессорными ядрами каждый – по цене $11 699 за штуку. Те два, что стоят сверху, несут на борту вдвое меньше памяти и стоят по $8 099 каждый. Но на фоне недавних анонсов от конкурентов – например, систем DGX Spark от Nvidia или платформ на чипах AI Max+ 395 от AMD, где максимальный объём памяти упёрся в скромные 128 ГБ (что в четыре раза меньше!

), – мне безумно захотелось испытать наш терабайтный кластер. ❯ Настольный дата-центр в миниатюреБуквально за день до приезда компьютеров от Apple ребята из DeskPi невероятно вовремя подогнали мне новенькую открытую мини-стойку TL1.

Этот прогресс даёт важные сигналы о будущем отрасли, и технологический мир внимательно наблюдает.