Видео по фото и тексту: как нейросеть оживляет старый снимок
Нейросеть делает видео по фото и тексту, но всё решает описание движения. Где в LibraChat оживить фото, как описать сцену и чего ждать от короткого ролика.
Е
Евгений
Дизайнер-партнёр LibraChat
7 мин чтения
Два описания одной фотографии. Первое: «оживи фото бабушки». Второе: «пар над самоваром медленно поднимается, занавеска едва колышется, за окном падает снег, камера чуть приближается к столу, лицо остаётся неподвижным». Нейросеть делает видео по фото и тексту, и текст здесь решает больше, чем кажется. Первое описание оставляет ей всё на догадку. Второе говорит, что должно двигаться, что делает камера и чего трогать нельзя. Ниже покажу, где в LibraChat оживляют фото, как я пишу описание движения и как получить три разных настроения для одного снимка.
Нейросеть, видео по фото и тексту: два режима
В LibraChat короткий ролик можно сделать двумя путями, и полезно сразу понимать разницу.
Видео по тексту. Описываешь сцену словами, и по описанию собирается короткий ролик. Фото не нужно.
Оживление фото. Прикрепляешь снимок и описываешь, что на нём должно ожить. Ролик строится от твоей фотографии.
Оба режима живут не в переписке, а в разделе «Изображения»: в нём есть переключатель, который делает из генератора картинок генератор роликов. Оживление фото есть в браузере; в приложении на телефоне его нет, там можно сделать видео по описанию. Всё сделанное лежит потом в «Моих видео», и любой ролик оттуда скачивается на компьютер или телефон.
Сразу о том, чего здесь нет. Присланное видео нейросеть не монтирует и не редактирует, видеофайл к сообщению не прикрепляется. Речь только о новых роликах: из описания или из фото. И ещё: видео доступно не на всех тарифах, подробности на странице
Переключи тип на «Видео» и найди там «Оживление фото».
Прикрепи снимок. Лучше скан или чёткое фото, без бликов от стекла рамки.
Напиши описание движения. О нём весь остальной текст.
Отправь и дождись ролика. Он появится в «Моих видео».
Пункт 4 занимает у меня больше времени, чем все остальные вместе. И это правильно.
Ошибка подписи: «оживи фото»
Сам грешил этим. Сначала я писал описания как подпись в альбоме: «бабушка на кухне, зима». Подпись говорит, что изображено. А нейросеть и так видит, что изображено, у неё есть снимок. Ей нужно другое: что меняется во времени.
Как дизайнер я привык думать о кадре. Тут то же самое, только кадр длится несколько секунд. И в нём три слоя, которые стоит описать отдельно:
что движется: пар, занавеска, снег, пламя свечи, листва;
что делает камера: стоит, медленно приближается, обходит стол сбоку;
настроение: тихое, уютное, праздничное.
И четвёртое, для старых семейных фото самое важное: что трогать нельзя. Я всегда пишу «лицо не меняется». Мимика, которой не было на снимке, превращает родного человека в незнакомца. Лучше живой пар и неподвижное лицо, чем наоборот.
Шаблон описания движения: до и после
Писать такие описания сразу получается не у всех. Я попробовал отдать эту часть работы LibraChat, и вот запрос. Скопируй этот промпт, поменяй описание снимка на своё и вставь в обычный чат:
Помоги описать движение для оживления старой семейной фотографии. На фото бабушка сидит за столом у окна, на столе самовар и чашки, за окном зима. Нужно описание в 2–3 предложениях: что двигается, что делает камера, какое настроение. Дай три варианта: спокойный, тёплый, праздничный. Без изменения лица.
Чат вернул три варианта, каждый в три предложения. Разница «до» и «после» видна по таблице:
· Моё первое описание · Вариант из чата
Что движется — Не сказано — Пар над самоваром, занавеска, снег за окном
Камера — Не сказано — Почти статична, чуть приближается к столу
Настроение — Не сказано — Тихое, созерцательное
Лицо — Не сказано — Не меняется
Длина — 4 слова — 3 предложения
Пример: три настроения одного снимка
Вот спокойный вариант целиком:
Бабушка сидит почти неподвижно, лицо не меняется. Слегка поднимается пар над самоваром, едва колышется занавеска, за окном медленно падает снег. Камера почти статична, чуть приближается к столу — тихое, созерцательное настроение.
В тёплом бабушка «лишь слегка поправляет чашку», а камера «медленно обходит стол сбоку». В праздничном пар «клубится живее», снег «кружит крупными хлопьями», камера «плавно наезжает от окна к столу».
Мне нравится, как устроены эти варианты. Я проверил каждый: лицо везде остаётся прежним, меняется только окружение и движение камеры. Это ровно то, о чём я прошу в описании для семейных фото.
Какой выбрать? Для поздравления на юбилей я бы взял праздничный. Для семейного альбома, который смотрят в тишине, спокойный. Ничто не мешает сделать все три: описание копируется в поле видео за секунду.
Какой снимок выбрать, чтобы нейросеть сделала видео по фото и тексту
Запрос «нейросеть видео по фото и тексту» обычно набирают, когда снимок уже выбран. Я советую начать на шаг раньше. Однажды я перебрал около 40 фотографий из семейного альбома, чтобы найти те, что стоит оживлять. Отобрал пять. Остальные хороши как фото, но двигаться в них нечему.
Что я ищу на снимке:
живую среду: огонь в печи, воду, снег, траву, ткань на ветру, дым, пар;
простой фон: чем меньше мелких предметов, тем спокойнее сцена;
одного-двух людей: на групповом фото с двадцатью лицами движение теряется;
резкость: размытый снимок останется размытым и в ролике.
И пару слов про людей на старых снимках. Я оживляю только тех, чьё фото у меня в семейном архиве и кого я могу показать родным без неловкости. Чужие лица и знаменитости — не то, с чем стоит экспериментировать.
Раньше я думал, что главное в такой работе — качество скана. Скан важен, но выбор снимка важнее. Хороший скан фото, где ничего не может двигаться, даст красивую, но мёртвую картинку.
Видео по тексту без фото: как нейросеть собирает сцену
Если снимка нет, тот же подход работает для видео по описанию. Только теперь описание отвечает и за то, что в кадре. Мой порядок для такого текста:
Место и свет. «Деревенская кухня, зимнее утро, свет из окна».
Главный предмет. «На столе самовар, от него идёт пар».
Движение. «Снег за окном падает медленно».
Камера. «Камера медленно отъезжает от стола к окну».
Четыре строки, и сцена уже собрана. Длинные описания на полстраницы я не пишу. Чем больше деталей, тем больше шансов, что какая-то из них уведёт ролик не туда.
Что я не прошу у видео по тексту: узнаваемых людей и надписей на экране. Людей лучше показывать со спины или вовсе без них, а надписи я добавляю потом в своём редакторе.
Чего ждать и чего не ждать
Теперь про ожидания.
Ролик короткий. Это несколько секунд движения, а не фильм. Его хорошо ставить в поздравление, в сторис, в начало семейного слайд-шоу.
У видеомонтажёров есть привычка, которую я взял себе. Если оживлённых снимков несколько, сделай им одно и то же движение камеры, например медленное приближение. Тогда ролики, поставленные подряд, выглядят как одна история, а не как набор случайных клипов. Описание камеры я просто копирую из варианта в вариант, меняю только то, что движется в кадре.
С первого раза ролик может выйти не таким, каким ты его представил. Тогда я меняю одну вещь в описании, обычно движение камеры, и делаю ещё раз. Менять всё сразу бесполезно: не поймёшь, что сработало.
Старые снимки с заломами и пятнами лучше сначала отсканировать или переснять при ровном свете. Нейросеть строит движение от того, что видит, и пятно на фото может стать частью сцены.
Подробнее о том, как готовить снимок и что из него можно сделать, кроме видео, есть в статье нейросеть, оживи фото.
Посмотри своими глазами
Возьми одну старую фотографию, где есть что-то, что может двигаться: огонь, вода, ткань, снег, листья. Попроси в чате LibraChat три варианта описания движения по запросу выше. А потом выбери тот, что ближе тебе, и отнеси его в раздел «Изображения» вместе со снимком.
Мне интересно, какой вариант ты выберешь: спокойный или праздничный. По-моему, выбор многое говорит о самом снимке.
нейросеть видео по фото и текстуоживление фотовидео из фотогенерация видеосемейный архивLibraChat
