Видео нейросетью: три описания одной сцены, пока камера не встала на место
Как сделать видео нейросетью по описанию: три запроса к LibraChat, ошибка с планом камеры и сцена, которую можно отдавать в генерацию короткого ролика.
Е
Евгений
Дизайнер-партнёр LibraChat
6 мин чтения
Первый запрос про видео я написал коротко, как подпись под фотографией. Хотел, чтобы нейросеть помогла описать сцену для ролика, и получил абзац, где рассвет, пар, выпечка, газеты и замедление спорили за одну чашку.
До сцены, которую можно отдавать в генерацию видео, я дошёл с третьего запроса. Рабочей она стала, когда я сам выбрал три вещи: план, одно движение и сторону, откуда падает свет. Ошибки по дороге были и мои, и ответа.
Первый ответ знал о кофейне больше, чем я
Вот с чего я начал:
Помоги описать сцену для короткого видео, которое сделает нейросеть: утро в кофейне, бариста готовит кофе.
В запросе было место и действие. Не было главного: что именно должен увидеть зритель. Ответ пришёл в двух версиях. Сначала длинная английская, потом русская. В русской меня остановила одна строчка:
Атмосфера тёплая, спокойная и очень атмосферная, мягкий кинематографичный свет
Атмосфера, которая очень атмосферная. Я улыбнулся. Так пишут, когда слов больше, чем решений.
Потом я посчитал, что попало в кадр. Солнце за большими окнами. Пар над эспрессо. Бариста рисует сердце на латте. Выпечка на стойке, столики с утренними газетами, размытая улица за стеклом. И замедление на струе молока.
Для короткого ролика это перегруженный макет. В коротком кадре зрителю нужно одно действие и одно место, куда смотреть.
Нейросеть строит видео из слов описания. Всё названное просит себе места в кадре, всё неназванное она решает сама. Семь предметов и действий на несколько секунд означают семь решений, которые тянут взгляд в разные стороны. Главного среди них нет.
Если хочется сюжет из нескольких сцен, это уже другая работа, и она начинается со
. Мне нужна была одна сцена. Значит, и просить надо одну.
Одна сцена, а камера в двух местах
Второй запрос я сузил до одного действия и добавил рамки:
Помоги описать одну сцену для короткого ролика, который нейросеть сделает по тексту: бариста в маленькой кофейне наливает молоко в капучино и рисует сердце на пене. Нужно 2–3 предложения: что в кадре, одно движение, ракурс камеры и свет, без смены планов и без звука.
Ответ стал короче. Движение одно, свет из окна, блики на пене. Но рядом стоят две фразы, которые не уживаются:
Камера показывает сцену средним планом чуть сверху, под мягким тёплым светом утреннего солнца, который падает через окно и создаёт лёгкие блики на пене.
В кадре только руки, чашка и поверхность стойки — никаких смен планов, без звука.
Средний план берёт человека примерно по пояс, вместе со стойкой. «Только руки и чашка» — это крупный план. Описание обещает два разных кадра сразу, и камера в нём стоит в двух местах.
Это ошибка ответа, и поймать её надо до генерации, а не после. Но дыру оставил и я: план я так и не выбрал. Ответ выбрал за меня, причём дважды.
Такие противоречия легко пропустить. Каждая фраза по отдельности звучит гладко, а спорят они только между собой. Я проверяю описание одним вопросом к каждому предложению: где сейчас стоит камера? Если ответов больше одного, описание надо чинить. Сразу.
Есть и мелочь, знакомая каждому, кто сдавал макеты. Мои рамки «без смены планов» и «без звука» переехали в сам текст сцены. Как пометки редактора, которые забыли стереть перед печатью. В описании сцены должно остаться только то, что видно на экране. Пометки для себя живут в запросе, а в чистовик не попадают.
С третьего раза план выбрал я
Теперь я назвал всё, что раньше оставлял на волю ответа: план, предметы, движение, сторону света. «Без смены планов» и «без звука» из запроса ушли, чтобы не переехать в чистовик, а «на русском» я дописал после двуязычного первого ответа. Этот запрос можно копировать и менять на свою сцену:
Помоги описать одну сцену для короткого ролика, который нейросеть сделает по тексту: крупный план, в кадре только руки бариста, металлический питчер и чашка капучино на деревянной стойке, молоко льётся тонкой струйкой, и на пене получается сердце, тёплый утренний свет сбоку из окна. Дай описание на русском в 2–3 предложениях.
Пришли три предложения, без противоречий:
Крупный план показывает только руки бариста, которые аккуратно держат металлический питчер над чашкой капучино на деревянной стойке. Тонкая струйка молока плавно льётся в пену, формируя чёткое сердце. Тёплый утренний свет падает сбоку из окна, создавая мягкие тени и уютную атмосферу.
Почти каждое слово работает на один кадр. Руки, питчер, струя, сердце, свет сбоку. Тени появились сами: я назвал, откуда идёт свет, и ответ это услышал. «Уютную атмосферу» в конце я бы вычеркнул: это снова прилагательное вместо решения, а тени уже сделали эту работу.
Выбор плана потянул за собой остальное. Крупный план отрезал лишнее: нет лица, нет окна целиком, нет столиков с газетами. Выбери я средний, в кадр вошли бы человек в фартуке и вся стойка, и каждую из этих вещей тоже пришлось бы описывать. План решает, сколько всего тебе придётся описать. Чем он ближе, тем короче честное описание.
Что заменить на своё? Предмет и действие, план и сторону, откуда падает свет. Остальное можно оставить как есть.
В LibraChat ролик делается не в переписке, а в разделе «Изображения»: там переключаешь тип на «Видео», вставляешь чистовик описания и отправляешь. Само описание удобно готовить в обычном чате, как это делал я. Готовые ролики собираются в галерее «Мои видео», их можно скачать. Видео доступно не на всех тарифах.
Когда ролик придёт, посмотри его с тем же вопросом: где стоит камера и сколько в кадре движений? Не сходится — правь описание и запускай заново.
Если у тебя есть снимок нужной сцены, в браузере в том же разделе есть «Оживление фото». Там ролик собирается из прикреплённой фотографии.
Чего LibraChat не сделает, тоже скажу сразу. Присланное видео он не разбирает и не монтирует. Он делает новый ролик по описанию, а в браузере ещё и из фотографии. Если ролику потом нужны подписи, это отдельная задача, и вот как сделать субтитры нейросетью.
Что я теперь решаю до первого запроса
Какой кадр я хочу увидеть первым? Этот вопрос я теперь задаю себе раньше, чем открываю чат.
За ним стоят три решения. План: крупный, средний или общий. Одно движение, а не пять. И свет с указанием стороны, потому что из стороны света рождаются тени и объём.
Про свет скажу подробнее, это мой профессиональный пунктик. Свет сбоку лепит форму: на чашке появляются блик и тень, и она становится круглой. Свет прямо в лицо делает кадр плоским, как фото на документы. Свет из-за спины рисует силуэт. Одно слово о стороне света меняет настроение сильнее, чем три прилагательных про атмосферу.
Если хоть одно из трёх не выбрал ты, его выберет ответ. И не факт, что одно: мой второй ответ выбрал два плана сразу.
Возьми свою сцену и допиши к ней эти три решения. Потом вставь описание в LibraChat.
А перед отправкой нарисуй свой кадр карандашом, хоть схемой из трёх линий. Получилось нарисовать, где стоит камера?
нейросеть видеокартинки и видеоописание сценыкороткий ролик
