Поющие фото через нейросеть: как совместить рот и звук
Как подготовить портрет и собственную вокальную запись для поющего фото, оживить их в HeyGen и проверить, совпадают ли движения губ со звуком.
Евгений
Дизайнер-партнёр LibraChat
6 мин чтения
Для короткого ролика мастерской мы придумали бумажного ведущего. На портрете у него круглый воротник и слегка поднятые брови. За кадром звучит наш джингл «Мастерская открыта». В удачном варианте видно, как губы размыкаются сразу после первого «м». Если рот начинает двигаться за полтакта до слова, зритель замечает это раньше, чем успевает прочитать подпись.
Поющие фото через нейросеть получаются из снимка и отдельной аудиодорожки. Можно начать с короткой части собственной записи и проверить два места: первую согласную и паузу. Для пения нужна синхронизация губ с загруженным звуком. Если задача лишь добавить движение к фото, достаточно другого формата. Например, руководство о ролике из одного кадра показывает, как ограничить движение, когда губы вообще не нужны.
Подготовь одну фотографию и одну фразу
Для своего бумажного ведущего я возьму портрет с одним открытым лицом. Угол головы небольшой. Линия рта различима, справа от неё нет тени от воротника. Можно взять собственное взрослое фото или персонажа, который создан для этого проекта. Если работаешь с портретом другого человека, используй снимок и вокал с его согласием. У песни и исходной записи должны быть подходящие права на использование.
Аудио для первого прохода я записываю без музыки или с очень тихим аккомпанементом. Хочу слышать, в какой момент началось слово. В композиции со вступлением сначала задаю момент появления персонажа. Когда музыка звучит несколько тактов до первой фразы, можно оставить это вступлением. Там движения рта должны соответствовать тишине на вокальной дорожке или ясному запланированному движению без слов.
Подготовь три опоры для пробы:
Один портрет, где можно рассмотреть рот и подбородок.
Короткую запись своей фразы, в которой различаются первое слово, пауза и окончание.
Формат карточки под выбранное место размещения. Для вертикального ролика я бы оставил вокруг головы запас, чтобы подбородок и воротник не срезало в макете.
Вот простой смысл короткого первого фрагмента. Если четыре слова уже звучат убедительно, можно перейти к следующей фразе. Если начало не совпало, по короткому фрагменту сразу видно, записать ли звук заново или сменить угол портрета. На полном треке различать две эти причины заметно дольше.
Перед записью можно произнести ту же фразу один раз разговорно и один раз пропеть. Для зрителя важна поющая версия. Разговорная помогает мне выбрать слова, которые проще проверить. Когда во фразе слышны длинные гласные подряд, рот может сохранять похожую форму почти всё время. Короткая согласная на входе и небольшая пауза дают более удобные отметки. Если первая фраза в песне тянется на одном звуке, я попробую взять для пробы следующую строку. По ней будет проще понять, как персонаж поведёт себя в целом ролике.
Как сделать поющие фото через нейросеть
В HeyGen есть режим Make Photo Sing. На официальной странице описаны загрузка фронтального портрета и собственной дорожки MP3 или WAV, предварительный просмотр и экспорт MP4. Если у тебя длинный файл, отрежь для проверки один фрагмент с чёткой фразой до загрузки. Так проще сравнить собственный исходник с тем, что получится в предпросмотре. Описание режима Make Photo Sing.
В форме выбираю один портрет, прикладываю подготовленную запись и проверяю формат. Для бумажного ведущего оставить спокойное выражение полезнее, чем просить широкую улыбку на каждом слоге. У нас главное — момент вступления. В зависимости от выбранного настроения лицо может двигаться сильнее, и это отдельная переменная. На первой пробе я бы оставил одно настроение и посмотрел, отчётливо ли персонаж начинает фразу.
Где остановить просмотр · Что ожидаю услышать · Что ищу в кадре
На «м» в «мастерская» — Первая согласная — Губы на миг сомкнуты, затем расходятся
В паузе перед «открыта» — Короткий разрыв между словами — Движение лица успокаивается, рот не произносит новый слог
На последнем «а» — Окончание фразы — Рот успевает открыть гласную и закрывается после окончания
Между фразой и финалом — Остаток музыки или тишина — Голова может двигаться, но у движения нет лишних слогов
Пересмотри экспортированный ролик
Предпросмотр может показаться правильным, а при обычном воспроизведении начало всё равно ускользнёт. Я открываю скачанный файл, потому что именно его увидит получатель. Сначала смотрю на нормальной скорости. Затем возвращаюсь к первому слогу и последней гласной. Если небольшое запаздывание одинаково в обоих местах, сверяю начало звуковой дорожки. Если с каждым словом оно заметнее, проверяю вторую точку и сравниваю полную длительность фрагмента с исходным аудио.
После проверки обычно нужны всего три отметки:
На какой согласной видно начало пения.
Совпадает ли пауза между двумя словами в записи и ролике.
Остаётся ли лицо узнаваемым, когда рот показан в самом широко открытом положении.
На этом месте я сохраняю условное имя «джингл, проба с первого слога». Когда буду менять картинку, оставлю тот же аудиофайл. Если звук меняется вместе с портретом, сравнение уже не показывает, какая перемена помогла. При второй попытке держу исходный джингл открытым в плеере и проверяю, где в нём заканчивается тишина перед первым словом. Это помогает решить, исправлять ли начало дорожки или сам кадр рта.
Есть смысл посмотреть ещё один момент без подписи. На беззвучном экране зрителю понадобится понятная строка текста. Я бы добавлял её уже в редакторе, оставив вокруг рта свободное место. Так подпись подскажет слова, а сама анимация останется видимой. Если рот и слова совпадают, но строка закрыла подбородок, можно передвинуть текст, не начиная генерацию заново.
Выбери чистую вокальную фразу прямо сейчас. Для расстановки точек проверки вставь в LibraChat свой текст с пометками о времени:
Преврати мои пометки к записи в короткий план просмотра поющего портрета. Выдели начало первого слова, середину паузы и окончание последней гласной. Для каждой точки напиши, какое движение губ я могу проверить. Оставь время таким, как в моих заметках; если оно неизвестно, пометь место по словам.
Для серии роликов проверь доступ к нужному тарифу перед подготовкой длинных заметок. В первом ролике я оставлю всего одну фразу. Если перед «мастерская» рот не спешит, а после «открыта» не продолжает петь лишний слог, можно пробовать следующий кусок джингла.