Mix Hub в свой VST3-плагин: анализ конфликтов между дорожками

В сфере искусственного интеллекта произошло заметное событие. vaalimusic 13 минут назад Mix Hub в свой VST3-плагин: анализ конфликтов между дорожками Средний 8 мин 274 C++ * Звук Open source * Искусственный интеллект Windows * Кейс Привет, Хабр! Меня зовут Артур Валиев. Я продолжаю делать свой VST3-плагин Mix Teacher AI.

В прошлый раз я рассказывал про идею плагина: поставить его на дорожку, посмотреть уровни, пики, RMS, примерный LUFS, частотные зоны и получить простую подсказку человеческим языком. Но довольно быстро стало понятно, что анализировать только одну дорожку мало. Потому что в сведении часто проблема не в одной дорожке.

Технические детали

Кик сам по себе нормальный. Бас сам по себе нормальный. Вокал сам по себе нормальный.

Барабаны вроде тоже нормальные. А вместе всё почему-то не звучит. И вот тут начинается самая интересная часть: конфликты между дорожками.

Зачем понадобился Mix HubКогда я делал первую версию Mix Teacher AI, логика была простая:поставил плагин на вокал — получил анализ вокала;поставил на бас — получил анализ баса;поставил на drum bus — получил анализ барабанов. Это удобно, но только до определённого момента. Например, плагин может сказать:Бас активен в 40-150 Hz.

Отраслевые последствия

И отдельно на кике:Кик активен в 40-150 Hz. Но главная проблема не в том, что оба источника имеют низ. Кик и бас почти всегда живут рядом.

Проблема начинается тогда, когда они одновременно занимают одно и то же место и мешают друг другу. Особенно в DnB, EDM, trap, hip-hop и вообще в музыке, где низ — это не просто фон, а основа грува. Поэтому я начал делать Mix Hub.

MixHub режим - Пример Транс бас линии и кикаИдея такая:на отдельные дорожки ставится Mix Teacher AI в режиме Track;на мастер ставится ещё один экземпляр в режиме Mix Hub;дорожечные экземпляры публикуют свои данные;Mix Hub собирает общую картину и пытается понять, кто с кем конфликтует. Это всё ещё прототип. Но уже стало намного интереснее, потому что плагин начал смотреть не только на одну дорожку, а на отношения между ними.

Этот прогресс даёт важные сигналы о будущем отрасли, и технологический мир внимательно наблюдает.