Котики танцуют: как нейросеть делает видео с котом
Как сделать видео, где котики танцуют, через нейросеть. Два запроса для рыжего кота, выбор ракурса и проверка лап, тени и стыка при повторе ролика.
Михаил
Инженер-креатор LibraChat
8 мин чтения
Рыжий кот услышал шорох у миски, дважды переступил передними лапами и замер. Если прибавить лёгкий перенос веса из стороны в сторону, этот жест уже похож на танец. Для ролика, где котики танцуют, нейросети можно описать именно такой шаг. В кадре останутся настоящие кошачьи пропорции, а зритель поймёт шутку без костюма, песни и подписи.
Начать удобно с одного кота и короткого эпизода. Дальше можно собрать ролик с двумя героями, сделав второй дубль отдельно. Самая полезная деталь в задании — место, куда лапа должна вернуться. Оно помогает увидеть, получился ли танец или кот просто сдвинулся целиком.
Когда котики танцуют, камера видит пол
На обычном домашнем снимке кот нередко лежит клубком или сидит под столом. Для танца лучше начать с позы, в которой видно, откуда зверь сделает шаг. Опустите точку съёмки примерно на уровень груди кота и оставьте внизу заметную полосу пола. Под передними лапами может лежать коврик с контрастным краем. В качестве ориентира годится и линия между половицами. Благодаря ей в готовом видео легко заметить даже небольшой сдвиг.
В первом дубле я бы оставил миску или мебель на заднем плане. Если кот смотрит влево, свободное место тоже полезно оставить слева. Три идеи движения различаются тем, какая часть тела меняет положение.
Движение · Видимый признак · Что смотреть в замедлении
Два переступания — По очереди отрываются передние лапы — Задние остаются на видимом участке пола
Покачивание — Плечи уходят влево и возвращаются — Подушечки лап удерживают исходные точки
Маленький разворот — Нос смотрит на другую сторону миски — Корпус поворачивается вместе с головой
Если хочется разложить более длинную сцену на отдельные жесты, пригодится разбор танцевальной фразы в видео. У кошачьего движения есть своя подсказка: лапа на полу принимает вес прежде, чем другая оторвётся. Эту последовательность можно описать словами и увидеть при паузе.
Выбор начального снимка
Я выбираю кадр, где шерсть вокруг лап отделяется по тону от пола. Рыжий кот на рыжем ковре хорошо смотрится на портрете, но зритель легко пропустит маленький шаг. Для первой генерации подойдет снимок на светлой плитке. Если кот снят сбоку и передние лапы почти полностью перекрываются, найдите ракурс немного спереди. Тогда видно, какая лапа двинулась первой.
Проверьте просвет между передними лапами. В исходнике должно быть ясно, куда можно поставить поднятую лапу.
Уберите из края кадра второй предмет на уровне морды. Длинная ножка стула иногда визуально пересекается с корпусом при повороте.
Оставьте цельной границу пола. Если край коврика уже ушёл за рамку, при движении сравнивать положение лапы будет не с чем.
Допустим, нужная фотография вертикальная, а танец планируется в широком видео. Я бы заметил, хватает ли места по бокам для пола и хвоста, ещё до генерации. Если такого снимка под рукой нет, проще описать комнату с подходящим ракурсом. Признаком узнаваемости вымышленного кота может стать белое пятно на одной передней лапе. В серии запросов его положение стоит сохранять.
Два запроса на одно и то же видео
Сначала задайте движение с понятным концом. Здесь «левую» и «правую» две версии могут понять по-разному, поэтому первой точкой лучше сделать лапу у края коврика. Такой ориентир можно найти в любом дубле.
Короткое видео с неподвижной камерой. Рыжий полосатый кот стоит на четырёх лапах на светлом линолеуме около синего коврика. Кот переступает передней лапой у края коврика, возвращает её на прежнее место и повторяет движение другой передней лапой. В конце кот снова стоит как в начале. В кадре целиком видны кот, лапы, тень и край коврика. Мягкий свет из окна сбоку.
Второй запрос пригодится, если первый вариант похож на марш, а нужен мягкий танец. Сохраните окружение, ракурс и окраску. Замените действие плеч и передних лап, чтобы увидеть влияние одной правки.
Рыжий полосатый кот у синего коврика мягко переносит вес на одну переднюю лапу. Другая лапа слегка касается пола перед ним и возвращается назад. Затем кот делает симметричный жест и снова замирает на четырёх лапах. Камера всё время стоит неподвижно. Кот виден целиком на светлом линолеуме, сбоку падает мягкий свет из окна.
Фраза «танцует очень смешно» оставляет генератору и позу, и темп, и движение камеры. В этих вариантах смешной момент создаёт собранность кота перед крохотным шагом. Если нужна выразительная пауза, дайте модели только одну дополнительную задачу: сохранить взгляд на миске на протяжении всей сцены.
На лицевой стороне коврика уместна ровная кромка без рисунка. Я бы не вводил сразу узор в клетку и сильные солнечные пятна: заметное изменение узора на полу способно отвлечь внимание от самой лапы. Если оба эпизода всё же выглядят одинаково, первым меняю амплитуду плеч. У короткого переступания подъём лапы заметнее. У покачивания по кадру лучше виден перенос груди. Так становится ясно, какую команду восприняла модель.
Ещё один способ добавить ритм — начать с взгляда, а потом дать движение. Условно разбейте пятисекундный сюжет так: первая секунда на взгляд в сторону миски, следующие две на переступание, остаток на спокойную стойку. Это план жеста, точное попадание в эти секунды нужно смотреть по результату. Пауза с пустым взглядом сработает иначе, чем пауза, в которой кот дожидается шороха. Если ролику нужна реакция второго зверя, поздний взгляд первого помогает смонтировать её. Для одиночного кадра я бы держал взгляд чуть дольше, чтобы подъём лапы оказался неожиданным.
Как получить ролик и разобрать его по кадрам
Для короткого ролика по описанию в LibraChat нужен раздел «Изображения» и режим «Видео». У подходящего тарифа этот режим можно проверить заранее. Если есть снимок своего кота с видимыми лапами, «Оживление фото» доступно в браузере. В остальных случаях достаточно описать вымышленного рыжего кота. Отдельно передавать запись танца человеку или задавать перенос хореографии в этом сценарии не требуется.
В рабочем пространстве LibraChat отправьте один из запросов и откройте законченный ролик в «Моих видео». Скачайте удачный дубль, если дальше будете повторять сцену или накладывать звук в монтажной программе. Посмотрите начало, момент поднятой лапы и конец. На средней паузе оцените силуэт и положение тени. Если у стоящей лапы тень заметно уезжает по линолеуму вместе с телом, попросите следующий дубль на том же месте с меньшим переносом веса.
Сначала прокрутите сцену два раза подряд. Даже небольшой рывок становится заметен, когда прыжок между концом и началом повторяется. Если в финале кот повернул голову, попробуйте начать новый дубль с её такого же положения или укоротить уже скачанный ролик в редакторе до предыдущей спокойной позы. Стык легче сделать на неподвижных лапах, когда корпус и камера тоже остановились.
Что менять в повторной попытке
Когда лапа странно вытягивается, сначала посмотрите на оригинал в обычной скорости. Один неудачный промежуточный кадр может остаться незаметным. Если зритель видит неправильную опору и в движении, я возвращаюсь к первой версии задания и сокращаю ход лапы. Если проблема проявляется и при таком сокращении, беру другой исходный ракурс. Менять фон при том же плохом ракурсе обычно бесполезно.
Весь кот скользит вбок. Проследите за тенью на боку коврика. Если пол и кромка стоят на месте, проблема в перемещении тела. Попросите касание пола рядом с исходной точкой.
В кадре внезапно меняется масштаб. Проверьте расстояние между рамкой и краем коврика. Если оно изменилось, упростите план и опишите камеру как жёстко закреплённую.
При повторе дёргается одна деталь. Остановитесь на граничных кадрах и сравните отдельно голову и хвост. Я подвигаю границу на участке спокойной позы, пока скачок не перестанет бросаться в глаза.
Иногда неудачный вариант можно использовать как единичный жест. Если кот дважды хорошо шагнул, а в конце потерял равновесие, возьмите только первый законченный шаг и оставьте паузу перед переходом к следующей сцене. Так появится ролик с понятным началом и концом, даже если для бесшовной петли нужен ещё один дубль. Границу лучше ставить там, где движение можно закончить на опоре.
Для двух персонажей удобно сохранить удачный ракурс в обоих эпизодах и дать второму коту другой коврик. Один переступает, второй смотрит в сторону первого и отвечает своим движением. Так в монтаже можно оставить паузу между жестами, и котики танцуют словно переговариваются. Выберите прямо сейчас коврик или шов на полу, у которого кот сможет сделать первый шаг. Последний кадр удачного дубля стоит сохранить отдельно. По нему проще задать следующей сцене высоту камеры, пустое место по бокам и форму тени.