Как улучшить качество звука нейросетью в музыкальной записи
Как улучшить качество звука нейросетью, если остался один музыкальный файл. Разбери шум, перегруз и громкость инструментов и сравни две версии на слух.
Евгений
Дизайнер-партнёр LibraChat
6 мин чтения
В записи репетиции всё начинается хорошо. Слышно, как барабанщик ударяет по тарелке. Удар проходит, гитарист ещё не взял следующую ноту, и остаётся тонкий металлический звук. После сильной обработки пауза стала тише, но хвост тарелки исчез на полпути. Именно этот хвост связывал два такта.
Если тебе нужно улучшить качество звука нейросетью, начни с одного места, которое жалко потерять. Для речи таким местом будет согласная на конце слова. Для музыки это может быть затухание тарелки, начало струны или низкая нота, общая для баса и барабана. Для примера возьму телефонную запись репетиции: один файл, исходных дорожек нет. Разберём, в каких местах нужна чистка, а где лучше оставить шум комнаты.
Найди дефект и звук, который с ним соседствует
Сначала слушаю файл без обработки. Ставлю отметки в трёх местах: до первого удара, на тихом затухании и на самом плотном такте. Щёлкнув пальцами в комнате, легко услышать разницу между короткой атакой и отражением от стены. На записи можно так же отличить один щелчок от постоянного шума. Перегруз на сильном ударе придётся слушать отдельно: он возникает как часть этого удара и может быть слышен даже без окружающего фона.
Что слышно · Что попробовать первым · Что проверить после
Ровное шипение в пустой паузе — Небольшое подавление постоянного шума — Остались ли длинные окончания нот
Один щелчок между тактами — Локальная правка вокруг щелчка — Не образовалась ли пустая яма
Треск на каждом громком ударе — Проверить возможный перегруз на исходной дорожке — Слышно ли начало бочки или тарелки
Бас теряется под гитарой — Пробное разделение инструментов на дорожки — Нет ли дрожащих остатков других инструментов
При ровном гуле подойдут и обычные средства. В руководстве Audacity для снятия профиля шума советуют выбрать участок, где есть только этот шум. Пауза с тихим звоном тарелки для этого не годится. Возьми пустое место перед музыкой, если вентилятор уже работал там так же, как во время записи. Когда такой паузы нет, выбирай мягкую настройку и сравнивай результат в той части, где фон действительно мешал.
Разделяй инструменты, когда нужно менять баланс
Если весь бас оказался тише гитары, общий подъём громкости ничего не раздвинет. Для проверки можно попробовать разделение при помощи нейросети. Справка Audacity по AI-плагинам описывает разложение одной записи на бас, ударные, вокал и остальные инструменты. Перед установкой сверь совместимость своей версии на странице загрузки плагинов. В iZotope Music Rebalance для такой задачи используют нейросетевое разделение источников.
После разделения я кратко слушаю дорожку баса отдельно. Это помогает обнаружить дрожание на длинной ноте и остатки гитары. Потом возвращаю все дорожки и проверяю тот же такт в сборе. Иногда остаток слышен только на сольной дорожке и не мешает в общем миксе. Иногда наоборот: наслоение превращает удар в два похожих щелчка. В таком случае безопаснее сделать чуть слышную правку, вернуть исходный дубль в этот такт или остановиться на исходнике.
Работай с копией единственного файла и оставь его рядом в проекте.
Сравнивай одно место и переключай версии без длинной паузы.
Подстрой громкость на слух для честного сравнения. Более громкая версия часто кажется более ясной.
Выбирай участок для проверки и по музыке, и по шуму. Одной тишины между тактами мало.
Отдели перегруз от слишком громкого воспроизведения
Проверь, исчезает ли треск, когда убираешь громкость проигрывателя. Если тот же удар всё равно хрипит, открой оригинал в редакторе и внимательно посмотри на самый высокий пик. Ровная отсечённая площадка на вершине бывает следом перегруза. Понижение громкости файла просто сделает эту площадку тише. Когда нужна реставрация, имеет смысл взять небольшой фрагмент и испытать восстановление перегруза. Справка Audacity о Clip Fix прямо ограничивает ожидания слегка повреждёнными участками.
Я бы сравнивал треск на сильном ударе со следующим чистым ударом. Если после правки атака стала мягкой и слабой, установившаяся тишина вокруг неё ничего не доказывает. Для важной музыкальной записи новый дубль в удачном месте, с запасом по громкости на входе и той же расстановкой микрофона, иногда даёт больше свободы, чем восстановление потерянных пиков. Если переснять нельзя, я оставлю часть изъяна в пользу живого удара.
У эффекта, который борется с треском, может быть ещё один побочный эффект. Сравни тарелку с таким же ударом на более тихом участке: если атака после правки настолько сгладилась, что удар кажется сыгранным другой палочкой, обработай только повреждённые пики. Поставь границы чуть раньше начала треска и чуть позже его окончания. Проверь сам переход на обеих границах, потому что щелчок может появиться уже на склейке. И подержи в памяти контекст: треск, который сильно раздражает при прослушивании одного удара по кругу, иногда почти не слышен внутри всего такта. Такое место не всегда нужно чистить.
Запиши условия сравнения и потом экспортируй
Удобно заранее написать, какие два места слушать первым делом, чтобы не забыть, что было в исходнике. Можно открыть LibraChat и дать ему свои текстовые заметки. Для длинного списка пометок пригодятся условия работы с текстом на странице тарифов. Сам звук меняется в аудиоредакторе.
Помоги собрать лист проверки музыкальной записи. На 0:12 между двумя тактами затихает тарелка, на 0:27 слышен резкий удар бочки, на 0:34 бас почти теряется. Поставь три точки сравнения и напиши, каким слуховым признаком я проверю каждый результат. Используй только мои пометки и не оценивай запись, которую я не прикладывал.
Прослушай те же отметки в экспорте, отдельно от открытого проекта.
Проверь, что в начале нет отрезанной атаки и в конце осталась слышимой последняя нота.
Сохрани исходник и финальную версию с разными названиями. Также сохрани проект, если сводил разделённые дорожки.
Если в твоём материале важнее речь, используй разбор улучшения голоса с отдельной проверкой окончаний слов.
Для первой пробы возьми несколько тактов со спокойным и громким моментом. На том звуке, который важно сохранить, попробуй несколько раз включить и отключить эффект. Оставь версию, в которой хвост ноты ещё можно дослушать до конца.