Yue Studio: попытка сделать нейромузыку, от которой не мутит (по крайней мере меня)

В сфере искусственного интеллекта произошло заметное событие. Zazza только что Объяснить с Yue Studio: попытка сделать нейромузыку, от которой не мутит (по крайней мере меня) 4 мин 0 Искусственный интеллект Звук Open source * Обзор Альбом из треков, которые я собрал в этом инструменте, у каждого трека своя страница, где написано, как делалось и есть примеры было - стало: Static and Gold. Скриншот программы для начала статьиЗачем я это навайбкодилНейрослоп он сейчас везде. На работе в таск трекере задачи которые пишет ИИ и комментарии которыми отвечает ИИ.

Куча картинок в интернете - ИИ (они могут быть хорошими, но кому надо хорошее). Нейромузыка, которой сейчас полно в интернете, от которой … Знакомые часто дают послушать свои треки из Suno, и у меня от них просто горит. И не скажешь же человеку, что это говно, как-то обидно.

Технические детали

Да, музыка - дело субъективное, но это некачественное сгенерированное… ну вы поняли. Недавно знакомый показал YuE2 и сказал, что она делает не хуже Suno и локлаьно. Мне стало интересно: смогу ли я сделать что-то, от чего у меня не будут отваливаться уши и не будет тошнить?

Первые варианты чуть не поставили крест на идее - это было отвратительно. Но мне нравится что-то делать и пытаться. Генератор с заданным жанром, голосом и инструментами.

Первым делом создал продвинутый генератор - жанр, ритм, гитары, голос, настроение — форма собирает из этого строку тегов для модели. Это уже можно было слушать, но звук был однородный и плоский, а весь трек игрался примерно в одном ритме. Вероятно, это всё есть в Suno, но у меня даже идеи не было платить за то, что я слышал.

Отраслевые последствия

Добавил форму трека: ровно, нарастание, волна и взрыв. Стало чуть лучше, но пластиковость и плоскость звука остались. Начал думать, чего мне не хватает, и добавлять: барабанную сбивку, провал, примочки на голос (и сами голоса).

Так получилась “студия” для треков. В неё добавил:волну громкости и спектр — видно, где что звучит;разделение на дорожки. Загрузил свой трек и переиграл его по-другому.

Нейросеть отдаёт трек «кирпичом»: всё одинаково громко, тихих мест почти нет, от этого (отваливаются уши) слух быстро устаёт. «Дыхание» мягко опускает тихие места и не трогает громкие - у трека появляется разница между куплетом и припевом. Не совсем идеально, но разброс громкости заметно растёт.

Событие, по словам экспертов, усилит конкуренцию в сфере ИИ.