Автотюн по кусочкам: как Auto-Tune и Nectar пересобирают голос

В сфере искусственного интеллекта произошло заметное событие. leonidmolchanov 40 минут назад Краткое содержание статьи Автотюн по кусочкам: как Auto-Tune и Nectar пересобирают голос Средний 17 мин 402 Звук Алгоритмы * Софт Голосовые интерфейсы * Обзор Певец держит одну ноту, а обработанный голос на мгновение перескакивает на октаву. Такое случается, когда плагин принимает сильную гармонику за основной тон. Чем быстрее коррекция, тем заметнее может стать этот промах.

Разберу, как Auto-Tune Artist 9. x и модуль Pitch из Nectar 4 определяют высоту и что делают с волной после выбора ноты. Здесь есть интересные различия: как удержать оценку на ровном звуке, прочитать запись между сэмплами, перенести фрагмент без щелчка.

Технические детали

На этих деталях и остановлюсь. Для начала возьмём одну вокальную дорожку. С хором или аккордом задача была бы другой.

Небольшие функции на C++ покажут отдельные расчёты, а пример на Python можно запустить целиком: он меняет высоту звука, сохраняя длину записи. Два пути к исправленной ноте. На схеме показаны основные этапы, без всех режимов и обратных связей.

Как плагин находит нотуНа протяжённом гласном голосовые складки колеблются почти периодически. На записи видно, как повторяется форма волны. Если повторений 220 в секунду, основной тон равен 220 Гц.

Отраслевые последствия

На каждое приходится около 4,55 мс. Это время называется периодом. В звуковом файле хранятся отдельные значения волны, сэмплы.

При частоте записи 48 кГц их 48 000 на секунду. Наш период займёт 48 000 / 220 ≈ 218,18 сэмпла. Граница повторения вполне может попасть между двумя значениями; к этой дробной части ещё вернёмся.

Помимо основного тона в звуке есть гармоники, колебания с кратными частотами. Для 220 Гц это 440, 660, 880 Гц и дальше. На спектре видна сила каждой составляющей.

Событие, по словам экспертов, усилит конкуренцию в сфере ИИ.