Как заменить фон на видео нейросетью и сохранить движение
Как заменить фон на видео нейросетью в CapCut. Выбираем автоматическое удаление или хромакей, проверяем контуры, сложный жест и вид экспортированного ролика.
Евгений
Дизайнер-партнёр LibraChat
6 мин чтения
На стоп-кадре человек стоит перед ровной стеной. Запускаешь видео, он поднимает белый лист, и вместе со старым фоном исчезает угол бумаги. Если нужно заменить фон на видео нейросетью, я сначала проверяю движение, на котором маске труднее всего. В одном коротком фрагменте видно, сохранится ли то, что человек показывает, и сможет ли новый фон удержаться за фигурой от начала до конца.
Возьмём ролик для кружка. Ведущий поднимает бумажный шаблон от стола к груди и объясняет, где сделать первый сгиб. Старый фон светлый и перегружен мелочами. Хочется поставить позади спокойную серо-синюю подложку. Если пропадёт угол шаблона, зритель потеряет часть объяснения. Поэтому проба начинается с листа в движении, а не с улыбки в первом кадре.
Чем заменить фон на видео нейросетью
CapCut описывает два способа убрать фон с видео. При автоматическом удалении инструмент выделяет передний план. При хромакее ты выбираешь цвет, который был подготовлен на съёмке или хорошо отделяется от нужных объектов. После отделения можно добавить фон отдельным слоем. В своём проекте ищи удаление фона среди свойств выбранного клипа. Инструкция CapCut по замене фона.
Как снят исходник · Какую пробу сделать · Где проверять
Обычная комната, фон неоднороден — Автоматическое удаление — Волосы, руки и предмет, который человек поднимает
Ровный цветной экран — Выбрать цвет хромакея — Нет ли этого цвета на одежде или в предметах
Камера движется, а фон прыгает — Отдельный отрезок с поворотом — Сохраняется ли край в соседних кадрах
Нужной съёмки ещё нет — Снять пробу или придумать новый ролик — Понятно ли действие ведущего без сложного задника
Автоматическое удаление быстрее показывает приблизительный результат на уже снятом материале. Но у алгоритма нет заданного мнения о том, важен ли угол бумаги. Если он принимает лист за часть стены, я проверяю прежде всего исходник: контраст, скорость подъёма и положение пальцев. Иногда небольшой пересъём на более тёмном фоне дешевле долгой правки одного края во многих кадрах.
Для хромакея цвет проверяю заранее на всём фрагменте, включая реквизит. Например, зелёный лист рядом с зелёным экраном может исчезнуть вместе с ним. Подойдёт другая подложка или простая смена реквизита. Если запись уже готова, попробуй сначала автоматическое выделение на том месте, где предмет проходит ближе всего к фону.
Как сделать короткую пробу в CapCut
Добавь свой ролик в проект и выбери участок, где нужный предмет проходит по сложному краю.
Открой функцию удаления фона и попробуй автоматический режим. Если фон снимали под один заданный цвет, можно проверить хромакей на этом же участке.
Добавь за вырезанным слоем ровный фон. Для осмотра я беру цвет, на котором виден контур одежды и реквизита.
Прокрути от начала до конца в обычной скорости. Затем останови кадр в момент, когда кажется, что нужный край исчезает.
Я пробую две подложки. На тёмной легко заметить светлую кайму и случайные участки прежней стены, на светлой лучше заметны пропуски тёмной ткани и дрожание по краям. Когда дефект виден только на проверочной подложке, возвращаю рабочий фон и оцениваю, сколько он влияет на просмотр. Белый угол на серо-синем фоне в нашем примере важен, потому что его показывают впритык к следующему сгибу.
Отдельно смотрю, где поставлена маска в последовательности слоёв. Иногда подложка полностью перекрывает снятое видео, потому что попала выше него. Для такой ошибки не нужно менять режим выделения. Достаточно переставить слои и убедиться, что исходный клип от начала до конца остаётся сверху.
Посмотри также на переход от неподвижного положения к шагу. Если камера сама повернулась, однотонный фон выдержит больше, чем изображение комнаты с дверью. Дверь остаётся на одном месте, а человек меняет положение так, будто за ним кто-то двигает декорацию. Для короткого ролика я бы выбрал нейтральную подложку или использовал фрагмент с неподвижной камерой. Это решение про композицию. Пересчитывать маску для него иногда вообще не требуется.
Как выбрать новый фон под снятую сцену
Если ведущий стоит близко к камере, мелкая архитектура или чёткий узор позади забирают внимание. Я примеряю фон в нормальном размере окна. Для ролика с бумажным шаблоном оставляю за ним спокойный участок без контрастных линий. Если там появится надпись, её нужно прочитать за то время, пока лист не закрывает это место.
В LibraChat можно отдельно подготовить описание новой подложки либо запросить изображение для неё. Загружать готовый видеоклип в редактор нужно отдельно. LibraChat создаёт новый ролик и помогает с изображениями, а правку уже снятого фона делай в видеоредакторе. Чтобы выбрать, из какого файла делать подложку, сравни доступное качество генерации. Внутреннее различие между генерацией и монтажом подробно разобрано на примере нейросети для видео.
Сделай неподвижный фон для ролика с ведущим в центре. Матовая серо-синяя стена с мягким рассеянным светом, без надписей и крупных объектов. Центральная часть равномерная по тону, небольшая разница светлоты у краёв. Позади ведущего ничего не должно пересекать место, где он поднимает светлый бумажный лист.
Это заготовка. Когда из изображения получается подложка для ролика, открой первый и последний кадры. В одном важна поза до подъёма, в другом должно быть понятно, куда ушёл лист. Если край в начале чистый, а в конце на секунду появляется стенка из кадра, на просмотре это часто заметнее, чем в окне редактора.
Из двух рабочих цветов я бы выбрал более спокойный в коротком фрагменте с речью. Пусть человек в кадре остаётся примерным ориентиром для размера подложки. Возле волос нужны достаточный контраст и тихий тон, а возле листа не должно быть почти такого же белого пятна. Иногда достаточно переместить фон на несколько сантиметров в видимой композиции.
Проверь самое быстрое движение на готовом фоне.
Посмотри, цела ли часть реквизита, которую должен увидеть зритель.
Экспортируй пробный отрезок и открой файл обычным плеером.
Если нужен бесплатный вариант, заранее проверь доступ к функции и условия экспорта в своей версии CapCut.
Прямо сейчас выдели самый сложный отрезок в своём ролике. Поставь на него один пробный фон и посмотри, что происходит через секунду после движения. Когда край перестанет отвлекать от действия, сохрани настройку и обработай остальной клип.