Нейросеть Dola для видео: как снять один жест с фото
Нейросеть Dola для видео превращает описание или кадр в короткий ролик. Покажу, как задать движение предмета и проверить, сохранились ли свет и композиция.
Евгений
Дизайнер-партнёр LibraChat
6 мин чтения
На референсе для заставки бумажная лодка стоит у края стола. За ней от окна падает длинная тень. Хочется, чтобы лодка медленно проехала несколько сантиметров, попала в свет и остановилась. Нейросеть Dola для видео принимает описание сцены или готовый кадр. Для этой задачи я бы взял фотографию и задал одно движение. Тогда у меня будут две точки для сравнения: узнаваемая лодка в начале и та же лодка в пятне света в конце.
Попробуй нарисовать руками, что должно двигаться. Я толкаю бумажную лодку пальцем, а рама окна и край стола остаются на местах. Когда тень уходит вместе с камерой, это уже другая сцена. Мне достаточно видимого жеста, чтобы поставить задачу.
Нейросеть Dola для видео с исходным фото
У сервисов с названием Dola есть разные страницы. Здесь я говорю о Dola AI Video, которая описывает генерацию по тексту и по изображению. Для начала по тексту ты описываешь и лодку, и стол, и направление света. С фото проще привязаться к конкретной бумаге, ракурсу и складке на носу лодки. Сам кадр остаётся ориентиром: после генерации я всё равно сверяю детали с исходником.
Я бы разложил варианты по тому, что уже есть на столе:
Исходный материал · Что задаёт первый кадр · Контрольная деталь
Есть только идея — Описание лодки, опоры и окна — Видно, откуда падает свет
Есть предметный снимок — Вид лодки и расположение тени — Сохранилась складка на носу
Есть снятый ролик — Фактическая запись движения — Для точной склейки я открываю монтаж
С одной камерой я однажды перекладывал предметную сцену семь раз. Каждый раз казалось, что лодка едет ровно, пока я не приложил к экрану край листа и не увидел, что стол уплывает в сторону. Теперь я кладу в кадр маленький неподвижный ориентир. В этой сцене подойдёт кусочек серой бумаги вдоль кромки. Если в ролике он двинется вместе с лодкой, я проверю, что произошло с камерой.
В рабочем окне Dola AI Video я бы выбрал Video, затем Frames и добавил фотографию первым кадром. Вариант Text оставил бы для той же сцены с нуля. Под полем запроса есть настройки длительности, разрешения и пропорций. Сначала решаю, где покажут ролик. Для экрана заставки я бы взял горизонтальный кадр. На телефонном экране край стола может выйти за границу вертикальной композиции. Тут лучше переставить лодку на исходном снимке и проверить правую часть кадра до отправки.
Рабочая страница показывает стоимость запуска в кредитах до генерации и предлагает войти в аккаунт. Я проверяю цифру там, где выбраны мои параметры. Для первого просмотра хватает клипа, в котором взгляд успевает отличить скольжение от паузы. Долгое движение здесь лишнее. Для заставки я бы оставил место и до начала, и сразу после остановки: проще вырезать паузу, чем вернуть последние полсекунды.
Один глагол на первую попытку
На старте я оставляю два предмета: лодку и обрезок бумаги. Свет уже виден на исходнике. Если я одновременно прошу приблизить камеру и провести лодку через пятно света, при просмотре сложнее понять, что именно сдвинулось. Начинаю со скольжения. Камера смотрит на сцену как на маленький театр, с одной точки.
В запросе я привязываю движение к двум признакам:
Лодка начинает путь в тени. Снаружи кадра ничего не входит.
Она скользит вдоль кромки стола, ближе к светлому участку.
Движение заканчивается, когда нос лодки оказывается в свету. Положение камеры прежнее.
Пример задания по исходному фото:
Сохрани композицию фотографии бумажной лодки у окна. По столу лодка медленно скользит вправо до границы света. Она останавливается, когда нос попадает в светлое пятно. Край стола и серый обрезок бумаги остаются на месте. Камера неподвижна, в кадре только предметы со снимка.
Для пустого старта добавлю цвет бумаги и направление света. Для фото оставлю то, что видно на снимке. Мне не нужно перечислять форму каждого сгиба. Но если цвет бумаги означает, какой персонаж появился в заставке, я назову его прямо и сверю после генерации. Мелочь становится важной, когда на ней держится следующий кадр.
Три кадра, по которым видно проблему
Я проверяю не только движение целиком. В середине ролика модель может перерисовать силуэт, а к финалу вернуть его почти на прежнее место. Такой сбой трудно описать словами «сделай аккуратнее». Сравнение стоп-кадров даёт конкретный признак, который можно внести в следующий запрос или сохранить как требование к следующей сцене.
В начале сравни лодку с исходником. Проверь число заметных сгибов и расстояние от носа до края кадра.
В середине поставь паузу. Посмотри, где оказалась серая полоска относительно кромки стола.
На последней секунде проверь момент остановки. Лодка должна замереть, пока она ещё целиком находится в кадре.
До проверки я редко добавляю титр. Он закрывает край стола, с которым я сравниваю движение. Если лодка внезапно взлетела, сначала меняю слова про движение по поверхности. Если камера наклонилась, возвращаю её в положение исходника. Две маленькие правки дают мне понятный порядок пересмотра, даже если в итоге сцену проще снять руками.
При повторе я сохраняю исходную фотографию и настройки рядом с описанием движения. Если мне покажут две почти одинаковые версии, я положу рядом кадры из середины и соотнесу их с краем. Расход второй попытки тогда приходится на одну понятную поправку.
Как выбрать место для первого дубля
При работе с LibraChat новый короткий ролик по описанию создают через раздел «Изображения» и тип «Видео». Для исходной фотографии в браузере есть режим оживления фото. Порядок зависит от задачи: текстовое описание позволяет придумать весь кадр, фотография даёт готовую композицию. Разницу между подготовкой сцены и получением файла я разбираю в материале о том, что такое нейросеть для видео.
Проверь доступность видеогенерации по тарифу перед серией попыток. А для первого опыта возьми бумагу и найди рядом неподвижный ориентир. Открой чат LibraChat и попробуй описать один короткий жест до запуска видео. Когда появится ролик, останови его на трёх кадрах. Если везде виден один и тот же край стола, можно заняться светом и названием выставки.