Как продлить видео нейросетью и сохранить движение
Как продлить видео нейросетью, выбрать кадр для стыка и проверить продолжение в движении. Пример с бумажной вертушкой и запасной способ через отдельный план.
Евгений
Дизайнер-партнёр LibraChat
6 мин чтения
Красная бумажная вертушка ещё крутится, а короткий ролик уже закончился. Для анонса мастерской я бы оставил движение ещё на пару секунд, чтобы лопасти замедлились и одна красная грань остановилась лицом к камере. Если надо продлить видео нейросетью, здесь есть понятная проверка: движение продолжается в ту же сторону и стихает. Тот же предмет должен остаться на месте. Если внезапно появился второй стержень или меняется рисунок лопастей, даже ровный по цвету стык будет заметен.
Я использую условный кадр. Перед загрузкой своего ролика стоит установить, принимает ли выбранный режим именно такие исходники. Некоторые инструменты продлевают клипы, созданные в них, другие описывают поддержку видео, уже добавленного в проект. Это важнее общего размера файла. Когда инструмент умеет генерировать только новый ролик, можно продумать отдельный монтажный план, который естественно продолжит действие без прямого склеивания кадра с его копией.
Что значит продлить видео нейросетью в твоей задаче
Мне нужен новый хвост действия. Но иногда под продлением имеют в виду, что нужно чуть дольше показать готовый постер. Для постера я возьму удержание обычного кадра в редакторе. Если речь о смене горизонтального кадра на вертикальный, то это уже изменение пропорций. Бывает и задача соединить два разных плана монтажом, она требует подходящей точки перехода. Прежде чем подбирать сервис, я запишу, что реально должно начаться после окончания изображения.
Задача · Что должно измениться · На что посмотрю
Продолжить текущее движение — Появляются новые моменты того же плана — Сохранились направление вращения и центр вертушки
Оставить финальный титр на экране — Увеличивается время показа одного кадра — Титр успевают прочитать без нового движения
Дать второй план той же сцены — Камера переходит к другой детали — Видно, почему произошла склейка, и деталь относится к сюжету
Подогнать ролик под вертикальный блок — Меняется область видимого изображения — Вертушка помещается целиком и не отрезана стойка
Я просматриваю последние полсекунды дважды. Сначала на обычной скорости, потом по кадрам. В первом случае видно, продолжается ли движение. Во втором я могу заметить, что последний кадр уже размазан сильнее предыдущих. Если режим позволяет отобрать исходный отрезок или подать более чистое окончание, предпочту момент с читаемыми лопастями. Но не буду срезать половину оборота только ради чёткой кромки. Следующему плану надо наследовать видимую скорость перед стыком.
Отметь предмет, который зритель узнает без пересмотра начала.
Сравни положение предмета относительно одного неподвижного края.
Назови, куда шло движение в последний момент.
Убери с границы уже имеющийся переход, если можешь подготовить чистую копию.
Как задать продолжение и проверить результат
В руководстве Luma по Extend описаны два способа задать продолжение: оставить развитие сцены инструменту или направить его текстом. Справка о возможностях Luma также описывает продление клипов на доске. В документации прежнего API Dream Machine для операции продления указано другое ограничение: завершённая генерация того же контура. Я бы проверил конкретное меню своей версии, где работа уже открыта, и доступный расход единиц до отправки. Обещание бесплатного или универсального продления из этих описаний не следует.
Для кадра с вертушкой есть смысл задать только следующее действие. Сохраню угол камеры и освещение. Отдельно обозначу, где заканчивается движение. Так можно попытаться продолжить уже начатое, не заставляя сервис менять фон одновременно. В режиме, который принимает запрос о продолжении, я бы написал:
Продолжи то же вращение красной бумажной вертушки в прежнюю сторону. За следующие секунды вращение плавно замедляется, одна лопасть останавливается ближе к камере. Не меняй точку съёмки, бумажные лопасти, стержень и фон. Сохрани неподвижную границу стола внизу кадра.
У ролика с непрерывным планом я сравню две стороны стыка. Посмотрю, не перескочил ли центр в сторону, и не стала ли вертушка вращаться вспять на первых кадрах продолжения. Особенно заметен момент, когда лопасть переходит через стержень. Если вместо неё там появляется полоска, которую трудно увидеть на паузе, просмотр в цикле покажет скачок. Затем проверю свет за предметом. Белое пятно на стене, которое начало сдвигаться вместе с вертушкой, выдаст изменение всего кадра.
Что делать со звуком около стыка
Если в ролике уже слышен ровный шум комнаты, прислушаюсь, исчезает ли он в момент перехода. В маленьком клипе тишина между двумя одинаковыми шумами может обозначить склейку сильнее, чем небольшая разница в цвете. Я сохраню копию первого звука отдельно. Для тихой условной сцены можно свести исходный фоновый звук с продолжением в редакторе. Тогда я не завишу от того, добавил ли генератор собственный фон. Музыку и голоса, которые имеют самостоятельный смысл, оценю отдельно: если продолжение словами меняет то, что произошло, звук лучше собрать специально.
Ещё я посмотрю ролик без фонового звука. Это проверяет саму картинку. Если при беззвучном просмотре стык исправился, проблема слышимая. Если вертушка прыгает в сторону независимо от аудио, сначала возьмусь за кадрирование или переход.
Когда вместо продолжения подойдёт отдельный план
Если инструмент не принимает исходник или переход всё время прыгает, я возьму второе действие и сменю крупность. Например, крупно покажу одну остановившуюся лопасть и деревянный стержень. На такой склейке зритель видит, что взгляд сменился специально. Я не попрошу второй кадр повторить каждую неровность предыдущего, но сохраню основные цвета и направление света. Отдельные возможности нового клипа и продолжения хорошо видны на примере разбора видео в Grok.
Для самостоятельного нового ролика можно описать кадр в разделе «Изображения» и выбрать режим «Видео» в LibraChat, сверив условия своего плана. Я использую его как отдельный фрагмент. Стык, звук и длину отрезков сведу в видеоредакторе. Для прямого продолжения старого клипа мне всё равно понадобится режим, который умеет работать с этим исходником.
Поставь метку в месте, где меняется план или начинается новая часть.
Прокрути небольшую область вокруг метки несколько раз.
Выбери, какой признак проверяешь первым: форму, свет или направление.
Если переход скрывает смысл действия, укороти ролик до удачного движения или измени план.
Попробуй описать финал одной строкой. В моём случае вертушка замедляется без смены общего плана. Эту фразу можно превратить в запрос, а затем сверить её с движением у самого стыка.
продолжение видеовидеогенерациямонтажнаправление движениястык кадров