SME в Apple M4: 65 тысяч резонаторов на коротком аудиоблоке

Значимый прорыв формирует отрасль ИИ: leonidmolchanov 2 часа назад Краткое содержание статьи SME в Apple M4: 65 тысяч резонаторов на коротком аудиоблоке Средний 5 мин 1. 5K Процессоры Звук Алгоритмы * Кейс SME (Scalable Matrix Extension) добавляет в набор инструкций Arm операции над матрицами. Apple включила поддержку SME в чипы поколения M4.

Эти инструкции доступны из нативного кода, без отправки задачи в очередь GPU. Я попробовал применить SME к обработке звука. На Mac mini M4 расчёт банка из 65 536 резонаторов сократился с 1,59 до 0,44 мс по медиане.

Технические детали

При буфере 64 сэмпла и частоте 48 кГц это позволило укладываться в срок: в проверенной серии не было ни одного опоздавшего вызова. Звуковой движок с такими настройками вызывает обработчик примерно каждые 1,33 мс. Опоздание может обернуться щелчком или обрывом.

Увеличение буфера даёт больше времени на расчёт, но музыкант дольше ждёт звук при игре или мониторинге. Меня интересовал выигрыш при сохранении короткого блока. Как колебания превратились в матрицыБанк резонаторов складывает звук из затухающих колебаний со своей частотой и амплитудой.

Так можно синтезировать перкуссию и резонансные тембры. Первая версия обновляла каждый резонатор на каждом сэмпле векторными инструкциями NEON. Между ударами поведение резонатора известно заранее.

Отраслевые последствия

Его комплексное состояние s умножается на постоянный коэффициент z: модуль z задаёт затухание, аргумент задаёт частоту. Для монофонической суммы в точной арифметике можно записать:s_m = z_m * s_m y = Σ_m Re((s_m * z_m^(16a)) * z_m^b) m обозначает резонатор, a нумерует группы по 16 сэмплов, b задаёт позицию в группе. Состояние переношу сразу к началу группы, а её сэмплы рассчитываю через заранее подготовленные степени z от 0 до 15.

В матрице A заранее хранятся действительные части z^b и мнимые части с обратным знаком. В B находятся действительные и мнимые части состояния в начале группы, умноженные на коэффициенты панорамы. Каждому резонатору соответствуют две строки A и B.

Произведение C = AᵀB складывает их вклады. У C шестнадцать строк для позиций b. Столбцы идут парами: левый и правый канал очередной группы.

Этот прогресс даёт важные сигналы о будущем отрасли, и технологический мир внимательно наблюдает.