Нейросеть, которая меняет видео: новый фон без пересъёмки
Выбери нейросеть, которая меняет видео по исходному клипу. Задай замену фона, сохрани движение предмета и проверь правку покадрово до монтажа.
Евгений
Дизайнер-партнёр LibraChat
6 мин чтения
На сером столе рука тянет белую ленту с деревянной катушки. Нужно заменить бежевую стену позади стола на приглушённо-синюю. На первом кадре результат может выглядеть убедительно. Через секунду катушка поднимается, и у её края появляется синяя полоска. В этот момент видно, что для правки надо было обозначить и то, что меняется, и то, что проходит рядом с новым фоном.
Нейросеть, которая меняет видео, полезна, когда уже есть движение, которое трудно повторить. Я бы начинал с короткого отрывка и одного изменения. Сцена с катушкой описана как учебное задание. Её можно снять на столе без людей в кадре, если тянуть ленту за её свободный край вне видимой области. Результат какого-либо редактора здесь не выдаётся за проверенный тест.
У правки есть задний план и всё, что перед ним
В учебном отрывке камера стоит на месте. Стол остаётся серым, катушка деревянной, лента белой. Порядок движения такой: лента уже натянута, затем катушка делает оборот, после неё лента ложится на стол. Полезно описать это перед загрузкой. Тогда при приёмке видно, исчез ли один из этапов.
Область · Ожидаемая правка · Наблюдение после выгрузки
Стена над столом — Матовый приглушённый синий цвет — При движении она не светлеет отдельными пятнами
Граница стола — Сохраняется ровная кромка — Цвет фона не проходит ниже кромки
Катушка и лента — Сохраняются форма и движение — Во время оборота у края нет синего следа
Звук — Нужен исходный шорох, если он есть — Длина и время звука совпадают с движением в монтаже
Перед загрузкой я бы вырезал несколько секунд до и после подъёма катушки. Именно в середине между статичным началом и концом проявляется узкое место. Бывает, что результат неплох на первом кадре и снова неплох на последнем, а в движении цвет стены перестаёт держаться. У меня на контрольном листе под эту секунду отдельная строка.
Если фон нужно заменить до самого края предмета, я попрошу матовую стену без нового блика. Так проще увидеть, где добавился синий пиксель. В реальной сцене отражение цвета на дереве может быть допустимым. Для этой пробы оно выключено, чтобы проверить именно границу. Если потом нужно художественное отражение, его добавляю как отдельное требование и сравниваю с утверждённой версией.
Попроси изменить существующий клип
В справке Runway Edit Studio описана работа с загруженным видео и текстовым запросом на правку. У Runway это редактирование с помощью Aleph. В этом примере смысл загрузки ровно в том, что свет, движение и длина уже записаны. Когда есть только стоп-кадр, используется другой вход. Про подготовку такого входа есть отдельный разбор видео по фото и тексту.
В кратком задании для редактора я бы оставил такой текст:
В приложенном коротком клипе измени только бежевую стену позади серого стола на ровный матовый приглушённо-синий фон. Кромка стола остаётся на прежнем месте. Деревянная катушка, белая лента и траектория ленты сохраняются при каждом обороте. Не добавляй объектов, отражений и нового движения камеры. Сохрани исходную длительность, если режим поддерживает её.
Перед прогонами я бы отметил четыре контрольные точки:
Начало до подъёма предмета.
Секунду, на которой край катушки ближе всего к стене.
Кадр, где белая лента пересекает линию кромки.
Конец, когда движение уже завершилось.
Если результат начинает менять саму катушку, записываю дефект с указанием места: «синий появляется на верхнем крае при подъёме». Общая команда «сделай качественнее» не подскажет, какое место сейчас важнее. В LibraChat можно превратить такие замечания в более короткий запрос к видеоредактору. Это подготовка текста; обработка загруженного клипа происходит в режиме выбранной видеоплатформы. Если разметил несколько спорных кадров и хочешь разобрать их текстом за один сеанс, сверь ограничения своего доступа в тарифах LibraChat.
Закончи проверку одним просмотром в движении
Мне проще положить клипы на две соседние дорожки. Первый кадр выравниваю по началу движения ленты. Затем включаю верхний и нижний по очереди на одинаковом таймкоде. Если изменился темп, на четвёртой точке лента окажется в другом месте. В такой версии даже удачный фон не сохранит стык со следующим планом. Можно выбрать короткий годный участок, только если у него есть нужные начало и конец.
Открой оригинал и выгрузку с одной частотой показа в редакторе.
Сверь четыре контрольные точки. Проверь край катушки между точками, где движение нелинейное.
Посмотри итог без остановок, затем проверь, совпадает ли исходный шорох с тягой ленты.
Оставь название версии с конкретной причиной приёмки. Например, «фон ровный, край и темп совпали».
Одинаковая длительность файлов сама по себе не подтверждает темп. Я бы записал два события по оригиналу и выгрузке: момент первого рывка и момент остановки. Если первый рывок совпал, а остановка передвинулась, открой пару кадров между ними. Может выясниться, что часть ленты исчезает ещё до того, как натянулась. Такой разрыв продолжает смотреться неправильно после простой подгонки длительности. Когда всё движение лишь немного сдвинулось во времени, можно проверить обычное выравнивание дорожек. У результата остаётся измеримый критерий: событие попадает в то же место относительно исходного звука.
Заодно проверь тень предмета. В сцене с неподвижным светом она должна двигаться вместе с катушкой. На слишком аккуратной правке тень может исчезать каждый раз, когда край пересекает линию стола. Два соседних кадра покажут этот скачок раньше, чем полный просмотр при обычной скорости. Я отмечаю край и тень двумя разными строками, чтобы после правки не принять исправление одного дефекта за исправление обоих.
Есть и запасной вариант для неподвижной камеры. Если стена почти не меняется, а лента регулярно заходит в область фона, я бы попробовал обычный монтаж с маской. Сначала сохраняю новый фон отдельным слоем, затем открываю поверх него участок исходника с движущимся предметом. Это медленнее в стыке, зато одной исправленной границе не надо заново придумывать весь кадр. Для теста достаточно той секунды, на которой был синий след.
Попробуй прямо сейчас заморозить один момент с движущимся краем. Выпиши, что менять и что остаётся. Открой соседний кадр после правки. Если границу приходится объяснять титром или прятать быстрым резом, у тебя есть точный таймкод следующей проверки.