Как разделить песню нейросетью на отдельные дорожки
Как разделить песню нейросетью на вокал и инструменты. Выбираем две или четыре дорожки в Moises, слушаем артефакты и проверяем раздельный экспорт.
Денис
Продуктовый аналитик, ИИ-практик
6 мин чтения
На репетиции вокалист хочет спеть куплет под уже записанное сопровождение. Есть один файл, где голос, гитара, бас и барабаны звучат вместе. Можно разделить песню нейросетью и включить инструментальную дорожку отдельно. Я заранее уточняю, что понадобится после обработки. Один фон для репетиции, голос для разбора произношения и четыре файла для редактора требуют разных настроек.
В примере речь о вымышленной группе со своей записью. Один участник хочет слышать голос тише, второй просит оставить только бас и барабаны для репетиции. У первого результата будет один файл, который можно включить сразу. У второго пригодятся дорожки по отдельности. Эта разница важна, когда выбираешь режим и нажимаешь на экспорт.
Как разделить песню нейросетью на две или четыре дорожки
В справке Moises для бесплатного аккаунта указаны режимы на две и четыре дорожки. Две дорожки делят запись на вокал и инструментал. Четыре дают вокал, барабаны, бас и остальное сопровождение. В группе «остальное» могут находиться несколько инструментов. Если нужно оставить только одну конкретную гитару, проверь, есть ли такое выделение у твоего режима. Справка Moises по загрузке и редактированию.
Что нужно после разделения · Какой режим выбрать · Что слушать после обработки
Спеть куплет с сопровождением — Две дорожки — Инструментал в месте громкого вокала
Разобрать ритм на репетиции — Четыре дорожки — Бас и барабаны вместе, с паузой перед входом
Сохранить вокал для отдельной редакции — Две или четыре, исходя из остальных задач — Согласные на тихих концах слов
Сначала я обрабатываю короткую часть собственной записи. Удобно взять место, где музыканты уже вступили и вокал поёт длинную ноту. Если тишина перед куплетом отделяется чисто, это ещё мало говорит о самом трудном месте. Остаток голоса проще услышать там, где он громче всего. Для оценки ударных подойдёт переход, где барабан слышен сразу после голоса.
Что открыть в Moises после загрузки
В браузере открой Track Separation и загрузи свою запись в новом проекте. Выбери режим, который задаёт нужный выход. После обработки в проекте можно прослушивать дорожки, менять их громкость и оставлять одну из них включённой. Для репетиции я сначала глушу вокал, затем проверяю музыкальное вступление и первую строку куплета. Если в припеве просачиваются слова, записываю время и решаю, насколько это мешает конкретной задаче. Руководство Moises по разделению дорожек.
Справка Moises поясняет две кнопки в веб-версии. M выключает дорожку. S позволяет послушать только её. Когда мне нужно проверить барабан, я переключаю его в отдельное прослушивание и возвращаю остальные дорожки после проверки. Для мягкого фона делаю иначе. Открываю весь микс и убавляю голос до нужной громкости. Так можно заранее услышать версию, которую участники получат для репетиции. Справка по настройке дорожек.
Даю каждому результату три короткие проверки.
Послушай нужную дорожку одну. Она должна передавать те звуки, ради которых ты её выделил.
Затем включи дорожки вместе и посмотри, сохранился ли нужный момент вступления на тех же секундах.
Отдельно проверь самый громкий и самый тихий фрагменты. Ошибка разделения может быть хорошо слышна только в одном из них.
Если работа нужна внутри редактора, существует локальный вариант с Audacity и плагином OpenVINO Music Separation. В документации Intel описаны режимы 2-Stem и 4-Stem. На странице загрузки Audacity стоит предупреждение о совместимости с последней версией программы. До установки нужно сверить, подходит ли плагин к твоей сборке. Документация эффекта OpenVINO · Страница совместимости Audacity.
Как скачать дорожки и проверить файл
В Moises есть выгрузка раздельных дорожек и экспорт одного микса. Для передачи баса и барабанов в редактор нужны отдельные файлы. Для репетиции может хватить одного микса, если в нём выставлена нужная громкость и голос приглушён. Для настольного приложения разработчик перечисляет MP3, M4A и WAV. Открой доступные форматы в своём приложении и плане до подготовки всего проекта. Страница настольного приложения Moises.
При выдаче я проверяю три вещи.
В наборе есть отдельные файлы, если их попросил монтажёр.
Первое вступление совпадает с ориентиром, который прослушивали в проекте.
В итоговом миксе голос слышен на той громкости, которую обещали участникам.
После скачивания открой результат обычным плеером. При прослушивании проекта дорожка могла быть временно выключена, а среди раздельных файлов она всё равно есть. По имени и содержимому файла проще увидеть, что именно отдал сервис. Если отправляешь материалы для редактора, укажи, из какой своей записи они получены и когда начинается нужная часть.
Для работы в редакторе я кладу оригинал и выделенные партии на одну временную линию от одного исходного начала. С ручной подрезкой первой тишины лучше повременить. Иногда она нужна, чтобы бас и барабаны вступили вместе в выбранном такте. Если начало сдвинулось, одно и то же вступление поможет заметить разницу. Перед повторной отправкой можно записать, на какой секунде оно должно происходить и какую дорожку удобно считать опорной.
Даже точный ритм не гарантирует чистый звук. У конца громкой фразы может остаться тихая часть голоса или похожий на него призвук. Для пробы я включаю этот участок на обычной громкости. Если слышно несколько согласных, музыканту может мешать их проговаривание. Если шум различим только в наушниках на повышенной громкости, его влияние на репетицию будет другим. Решение зависит от того, где и зачем будут включать файл.
У такого разделения есть ещё одна граница. Музыка с выделенным вокалом может помочь расслышать произношение. Полученная дорожка сама по себе мало говорит о том, каким способом был записан исходный голос. Для этой задачи пригодятся другие данные из разбора происхождения песни.
Как передать замечания по записи
В LibraChat можно собрать письменные заметки по своим дорожкам. Для большой таблицы с пометками доступ зависит от плана, его можно сверить перед прикреплением файла. Чтобы написать короткое задание, дай названия дорожек и два места в записи. Само разделение проходит в аудиоинструменте.
Собери из моих заметок задание для репетиции. Для каждого файла укажи, что в нём должно быть слышно и на какой секунде проверить вступление. Отдельно обозначь, где я заметил остаток вокала. Запиши, нужен ли на выходе микс или каждый файл отдельно.
Прямо сейчас отметь в своей записи начало куплета и один громкий момент. После разделения открой скачанные файлы и найди оба места. В LibraChat можно сохранить замечания словами, чтобы на следующей репетиции быстро проверить тот же результат.