Оживить фото по описанию. Как дать нейросети действие
Как оживить фото по описанию в нейросети. Формулируем начало, движение и конец, проверяем причину ошибки и уточняем один параметр по первой видеопробе.
Евгений
Дизайнер-партнёр LibraChat
6 мин чтения
На фотографии маленькая бирка висит на ветке. Ты просишь «оживить кадр», и в следующей версии бирка летит вместе со шнуром. Чтобы оживить фото по описанию, выбери глагол для одного предмета и назови, где его движение останавливается. В условном примере бирка качается на нитке, а место крепления остаётся неподвижным. Эти два условия важнее, чем слова «естественно» и «атмосферно». По ним можно проверить, что получилось.
Я бы начинал с короткого отрезка. Сначала бирка висит ровно, потом немного отклоняется вправо и возвращается почти к вертикали. Шнур слегка натягивается, а ветка с узлом остаётся на прежнем месте. Если ты видишь эту сцену в голове, запиши начало и конец до выбора видеомодели. Когда описание состоит из наблюдаемых действий, легче отказаться от слишком долгой попытки и поправить только одно условие.
Сначала назови объект, ограничение и последнее положение
Когда пишешь «ветер на улице», модель получает общий вид, но ей надо выбрать движение самой. В одной версии зашевелится вся ветка, в другой сдвинется камера. Для нашей задачи составь короткую фразу про бирку на шнуре. Уточнение про узел помогает держать действие на одном объекте. После этого можно добавить одну характеристику скорости.
Как написано сначала · Что осталось неизвестным · Что уточнить
«Оживи фото» — Какой объект движется — Бирка на ветке слегка качается
«Дунул ветер» — Что делает сам предмет — Отклоняется вправо и возвращается
«Пусть красиво развевается» — Что удерживает предмет — Нитка остаётся привязанной к ветке
«Движение в конце мягкое» — Где остановка — Бирка почти вертикальна, как в начале
Не вся фотография удобно подходит под такой текст. Если узел совсем закрыт за веткой, его восстановит модель, а не исходник. Возьми ракурс, где место крепления различимо, или сформулируй движение проще. Если бирка уже почти касается края, при наклоне её часть уйдёт из поля. Можно выбрать исходник с запасом или уменьшить амплитуду. Эти решения дешевле проверить до запуска, чем потом менять промпт одновременно со всем кадром.
Как написать запрос, который видно в результате
В справке Runway для Gen-4 говорится о работе с исходным изображением и простым описанием движения. Для неподвижной камеры уместна прямолинейная формулировка «камера закреплена». Руководство отдельно различает движение объекта, камеры и окружения. Для тестовой бирки задай только движение предмета и оставь остальные свойства обычными. Промпты движения для Runway Gen-4.
Камера закреплена. Бирка в начале висит вертикально на видимой нитке. От лёгкого воздуха она медленно отклоняется немного вправо и затем возвращается почти к вертикали. Верхний узел остаётся на ветке в исходном месте, сама нитка держит бирку во всех кадрах. Листья и свет в кадре остаются спокойными.
Проверь исходник на видимую точку крепления и свободную область.
Назови объект и первое положение.
Добавь короткое физическое действие.
Запиши конечное положение и неподвижную опору.
Просмотри результат в обычном темпе и выпиши один видимый сбой.
Для цепочки из двух действий есть смысл сначала проверить первое. Допустим, бирка качнулась вправо, а потом должна чуть повернуться к камере. Если обе команды отправить сразу, модель может заменить бирку другой, когда требуется показать её оборот. Для первой пробы сохрани фронтальную часть и попроси одно отклонение. Если оно держится на шнуре, только тогда попроси короткий поворот. В этом месте можно использовать отдельно снятый общий ракурс. Так у нового положения будет своя понятная опора.
Как изменить запрос после сбоя
Начни со времени. Если бирка улетает в первые мгновения, уменьшай амплитуду и следи, виден ли натянутый шнур. Если всё хорошо до середины, а потом ветка «плывёт» вместе с камерой, уточни второй признак: фиксированный ракурс с видимой веткой. Если на конце нет возвращения, уточни положение последнего кадра. Одним изменением легче проверить, что произошло после новой попытки.
Попробуй перед запуском записать движение на бумаге тремя маленькими схемами. В первой отметь узел и вертикальную бирку. Во второй поставь край бирки правее той же точки. В третьей оставь шнур почти вертикальным. Эта схема пригодится, даже когда инструмент принимает только текст. По ней видно, что узел присутствует на всех трёх рисунках, а предмет не меняет направление целиком. Если в готовом ролике второй шаг получился, а третьего не было, попроси вернуться к началу. Нет смысла одновременно менять цвет, скорость и фон.
У похожих движений разные причины. Для поворота вокруг нитки край бирки станет уже, когда поворачивается боком. Для качания вправо она может всё время оставаться лицом к камере. Если тебе нужно прочитать рисунок на бирке, укажи качание и сохраняй сторону видимой. Если важна обратная часть, запроси небольшой поворот и проверь, есть ли на исходнике данные, которые надо сохранить. Генерация оборота сама придумает скрытую сторону. Для точной детали лучше приложить второй снимок, если режим его поддерживает, или снять короткий ролик руками.
Как сравнить две пробы без лишнего просмотра
Положи версии рядом и выбери по одному моменту, где предмет проходит крайнюю точку. Может оказаться, что в более спокойной версии бирка идёт правильно, но начало слишком вздрагивает. Посмотри стык первых мгновений с исходной фотографией. Если камера будто подпрыгивает, попробуй подобрать начало, где этот скачок отсутствует, или повтори создание только с более ясным указанием исходного положения. Для монтажа черновик с хорошей серединой может пригодиться отдельно, а полную версию не надо выкидывать до просмотра другой.
Не меняй исходник и движение одновременно.
Обращай внимание на узел возле ветки.
Отдельно смотри резкое начало, крайнюю точку и остановку.
Сохраняй две версии запроса, чтобы видеть сделанное изменение.
Для полного пути от картинки до готового файла пригодится разбор превращения изображения в видео. Сократить описание действия можно в LibraChat, а доступность нужных функций проверить перед генерацией. Прямо сейчас придумай место, где движение закончится. Запиши одну фразу о конце. Когда готовый ролик возвращает предмет примерно туда же и сохраняет связь с опорой, можно решать, насколько выразительно движение.