Как подготовить поющие фото для нейросети: взять свой портрет и короткую запись голоса, собрать пробу в Hedra и сверить начало слога, ноту и паузу.
Евгений
Дизайнер-партнёр LibraChat
6 мин чтения
Портрет на открытке должен пропеть короткую фразу «Пора зажечь фонарь». В начале человек берёт дыхание, а последняя нота тянется дольше слова. Поющие фото можно сделать из неподвижного портрета и звукового файла. Режим анимации под готовое аудио отвечает за движение губ. Покажу, как подготовить короткую пробу под собственный голос и заметить сбой в трёх разных местах, пока вся песня ещё ждёт монтажа.
Какие исходники нужны для поющего фото
Я возьму один ясный портрет вымышленного взрослого персонажа. Если хочется анимировать себя, подойдёт своё фото и собственная запись. В случае с другим человеком важно согласовать и обработку портрета, и использование голоса. Мне удобнее начать с кадра, в котором рот и подбородок хорошо видны. У головного убора, шарфа или микрофона иногда есть смысл в композиции, но на первой пробе пусть эти предметы остаются ниже линии губ.
Запиши одну короткую пропетую фразу без громкого сопровождения. Для примера в начале слышен лёгкий вдох, затем идут слова и длинный последний слог. Пауза после ноты нужна для проверки. Если ты только готовишь открытку, можно сначала прочесть эту же фразу вслух и потом спеть. На слух сразу заметно, где при пении появилась дополнительная длительность. Именно она усложняет синхронизацию.
Участок фразы · Что я смотрю на лице · Где легче заметить сбой
Короткий вдох перед первым словом — Поза остаётся спокойной до начала слога — Если рот уже движется, будто звучат слова
Первые два слога — Движение совпадает с отчётливым началом звука — Если начало заметно опережает голос
Длинная финальная гласная — Рот удерживает понятную форму на ноте — Если он закрывается и тут же снова открывается без смены звука
Пауза после фразы — Артикуляция завершается вместе с голосом — Если губы продолжают движение в тишине
Для пробы я сохраню аудио отдельно от готового микса. С голосом поверх ударных трудно понять, на каком звуке запустилось движение губ. Потом подложить музыку можно в редакторе, оставив вокал в прежнем времени. Если ты сначала сделал песню с голосом и музыкой в одном файле, выбери отрывок, где вокал ясно выступает вперёд. На нём удобнее проверить результат, прежде чем брать сложный припев.
Как собрать короткую пробу в Hedra
Справка Hedra описывает анимацию изображения по загруженному звуковому файлу. Для пробы нужен режим видео с аватаром, который принимает свой звук и изображение. Страница модели Character 3 среди сценариев отдельно указывает пение. Наличие модели и подходящего режима проверь в интерфейсе, а форматы аудио — в справке. Анимация по аудио в Hedra. Страница модели Character 3.
Перед запуском приготовь три вещи:
Портрет с достаточным запасом вокруг подбородка. На целевом кадре губы остаются видны.
Короткую запись со слышным началом и небольшим концом после ноты. Если в файле есть длинная тишина до фразы, укороти её до загрузки.
Описание поведения персонажа, если редактор принимает такой запрос. В нём полезно оставить спокойный взгляд и небольшое естественное движение головы.
Пример направления для вымышленного героя:
Взрослый персонаж смотрит чуть левее камеры и спокойно поёт короткую фразу по заданной записи. Положение камеры неизменно. На длинной финальной ноте герой держит голову ровно, после окончания фразы мягко выдыхает и замолкает.
Мне проще сначала посмотреть видео без звука. Так видны слишком широкая амплитуда челюсти и лишние качки плеч. Затем включу звук и проверю, совпадает ли первое движение рта с началом фразы. Если зазор небольшой, посмотрю по кадрам, постоянный ли он. Равномерное смещение на всём отрезке и изменение длины одной ноты требуют разных исправлений.
Как проверить поющие фото на длинной ноте и паузе
Поставь отметку на первом отчётливом слоге. Сверь её с появлением артикуляции, когда взгляд уже привык к движению головы.
Прослушай финальную ноту и досмотри до тишины. Если рот закрывается значительно раньше, проверь, нет ли в записи резкого перепада громкости перед концом ноты.
Перед новым запуском реши, что поправить. При сдвиге всего видео попробуй точнее совместить звук в монтажном проекте. Если сместилась только форма отдельных слогов, возьми более крупный портрет или более чистый звуковой отрывок.
Для открытки мне важно, чтобы после песни оставалось короткое спокойное лицо. Если последняя нота закончилась, а персонаж будто договаривает слова, можно остановить кадр уже после естественного закрытия рта. Когда рот не успел закрыться, я лучше укорочу проверочный отрывок так, чтобы оставалась слышимая пауза, и посмотрю, появляется ли она в новой пробе. Ровное молчание особенно заметно при повторном показе одного и того же видео.
Если голос будет звучать поверх музыкального вступления, поставь портрет в монтаж с небольшим запасом. Нужный вклад изображения начинается там, где человек готовится петь. На первых тактах можно показать часть открытки, затем перейти к лицу уже на вдохе. Так у зрителя есть причина следить за губами, а музыке не приходится заполнять кадр неподвижным портретом слишком долго.
Во второй пробе я сравню отрывки на одном экране. В маленьком окне легко пропустить ранний вдох, тогда как неподвижная челюсть на длинной гласной заметна сразу. Сначала прослушай на размере будущей открытки. Если различие всё ещё заметно, вернись к исходному звуку и реши, менять ли кадр или запись.
Если на открытом слоге модель всё время добавляет движение, прослушай голос в замедленном виде и найди место, где певец меняет гласную. Например, слово может закончиться согласной, хотя нота ещё слышна в реверберации. На этот хвост рот уже не обязан реагировать. Перед новой пробой возьми более сухую копию вокала, а эффект оставь для финального музыкального монтажа.
В чате LibraChat можно подготовить короткое указание по мимике для своей сцены. Разбор режимов работы с фото помогает выбрать подходящий исходник. Доступ к инструментам LibraChat можно сверить на странице тарифов. Синхронизацию в этом примере делает выбранный режим Hedra.
Прямо сейчас вырежи одну короткую строку из собственной записи. Отметь её первый слог, конец длинной ноты и начало тишины. Эти три точки объяснят, что удаётся в первом поющем кадре.