Нейросеть и видео аниме: оживляю дождь вокруг рисунка
Нейросеть и видео аниме: выбираем движение для рисованного кадра, сохраняем контур и проверяем результат. Настоящий исходник, промпт оживления и признаки ошибок.
Е
Евгений
Дизайнер-партнёр LibraChat
8 мин чтения
Слева стоит человек, справа идёт дождь, между ними проходит стойка остановки. У каждой части этого рисунка будет своя работа в будущей анимации. Мужчина сохраняет спокойную позу, дождь даёт движение, стойка позволяет заметить, не поплыл ли весь кадр. Когда соединяю нейросеть и видео аниме, мне полезнее такое распределение, чем просьба оживить одновременно волосы, одежду, отражения и камеру.
Разберу один настоящий исходник из LibraChat слева направо, затем свяжу наблюдения в предлагаемом видеозапросе. Сам рисунок уже получен и показан ниже. Анимацию по нему ещё нужно создать и оценить: статичный файл не доказывает, что все выбранные опоры останутся устойчивыми в движении.
Сохранённый кадр: человек, остановка, мокрая улица
Для исходного изображения я отправил в LibraChat следующий запрос:
Нарисуй горизонтальную аниме-иллюстрацию как исходный кадр для спокойной сцены. Взрослый мужчина в однотонном синем пальто стоит под плоской крышей трамвайной остановки слева. Он виден по пояс и спокойно смотрит вправо. Справа свободное пространство с серой мокрой улицей и тонкими вертикальными линиями дождя. Чёткий тёмный контур, плоские цветовые заливки, простые тени двумя тонами, без фотографической кожи и объёмного 3D-рендера. Камера на уровне глаз, неподвижная композиция, лицо и руки без сложных жестов. Никаких надписей, логотипов, узнаваемых героев или названий студий.
Настоящий исходник из LibraChat: лицо и пальто рисованные, стойка задаёт неподвижную вертикаль. Дождь уже изображён частыми штрихами, а мокрая улица фактурнее запрошенной плоской заливки
Получился горизонтальный файл 1280 × 720. Мужчина занимает левую часть, смотрит вправо, его руки не выполняют сложного жеста. Синее пальто отделяется от серой улицы. Крыша и стойка видны достаточно отчётливо, чтобы использовать их как постоянные ориентиры. Справа есть деревья, мокрая поверхность и много дождевых штрихов.
Полного совпадения с запросом нет. Дорога получилась фактурной: на ней отражения и неоднородные пятна, а не простая плоская заливка. Дождь частый. Для неподвижной иллюстрации это выразительно, но будущему движению достанется довольно сложный узор. Поэтому я сохраняю этот кадр и отдельно отмечаю поверхность улицы как место повышенного внимания.
Размер относится только к данному результату. Он не обещает разрешение будущего видео или точность анимации. Здесь важнее расположение крупных форм: свободное место справа, профиль слева и прямая граница между ними. Дальше я последовательно разберу именно эти части, не добавляя новых событий в сцену ожидания.
Слева: профиль и воротник удерживают героя
У человека я первым делом смотрю на силуэт головы и острую линию воротника. Это крупные, легко узнаваемые формы. На их фоне небольшое изменение одной пряди волос менее существенно. Если при оживлении профиль станет другим или воротник округлится, фигура будет восприниматься иначе, даже если цвет пальто останется синим.
Мне не нужен поворот головы. В этом рисунке взгляд вправо уже направляет внимание к дождю. Дополнительный жест изменит действие: зритель начнёт ждать, кого мужчина заметил или куда собирается идти. Спокойное ожидание потеряет простоту. Поэтому я оставлю фигуре неподвижную позу и не буду добавлять моргание только ради доказательства, что ролик движется.
Для графики важны и конкретные изобразительные признаки. Здесь есть тёмный контур, крупные цветовые участки, простая тень на одежде. Просьба сохранить их понятнее, чем одно слово «аниме»: у этого направления много разных решений. Как задавать внешность самого персонажа, подробнее разобрано в материале о том, как нейросеть рисует аниме.
Я записываю рядом с левой частью три опоры:
форма профиля и направление взгляда;
угол воротника и крупные складки пальто;
рисованная поверхность лица без перехода к фотографической коже.
Это критерии просмотра, а не обещание точного выполнения. Когда появится ролик, найди эти признаки в начале и ближе к завершению. Если воротник меняется только на одном участке, посмотри этот момент в обычном темпе. Незаметная разница стоп-кадров может дать неприятное мерцание при воспроизведении.
Тёмное пальто также стоит оценить в небольшом размере. Если оно сольётся с крышей, движение дождя не разделит крупные пятна за тебя. Тогда полезнее доработать контраст исходной картинки до оживления. После правки снова посмотри на воротник: более светлый фон должен улучшать чтение формы, сохраняя саму одежду.
Между героем и улицей: стойка задаёт неподвижную границу
Вертикальная стойка в середине кадра кажется второстепенной, пока вокруг неё ничего не движется. В ролике она станет полезной опорой. Дождь падает, но стойка должна оставаться прямой. Если она начинает раскачиваться вместе с окружающими штрихами, это уже движение всей конструкции, которого в замысле нет.
Край крыши помогает увидеть тот же дефект по другой линии. Я сравниваю их совместно: одна вертикаль и один наклонный край. Так легче заметить изменение геометрии, чем по дождевой полоске, которая по замыслу и должна исчезать и появляться в другом месте.
Часть изображения · Роль в сцене · Какой сдвиг изменит замысел
Профиль мужчины — Неподвижный герой, ожидающий под крышей — Поворот головы создаст новое действие
Стойка и крыша — Стабильное укрытие и ориентиры — Качание или изгиб разрушат неподвижную композицию
Дождь справа — Основное движение окружающей среды — Одновременное дрожание всего фона скроет отдельные осадки
Отражения на дороге — Поверхность, на которую падает дождь — Большой поток воды превратит спокойную улицу в другую сцену
По этой причине я выбираю неподвижную камеру. Приближение могло бы выглядеть эффектно, но добавило бы изменение масштаба всех опор. Тогда труднее отделить желаемое движение от случайного изменения рисунка. Для первого фрагмента я хочу получить ясный ответ на более узкий вопрос: умеет ли эта версия сохранять неподвижные части рядом с дождём?
Стойка не превращается от этого в прибор для определения происхождения чужих роликов. Я использую её только как критерий собственного замысла. Если результат не соответствует плану, это повод его пересмотреть, а не делать выводы о любом видео с похожими линиями.
Справа: дождь получает движение, дорога — ограничение
Дождевые штрихи уже есть в сохранённом рисунке. В будущем видео мне важно, чтобы они воспринимались как падающие осадки, а не как вибрация прозрачной плёнки поверх всего изображения. Открытое пространство справа помогает наблюдать именно это. Если спрятать дождь за фигурой, анимировать его можно было бы, но зрителю досталось бы меньше ясной информации.
Мокрая улица сложнее. На исходнике видны пятна и отражения, и я не хочу превращать всю поверхность в текущую реку. Поэтому в описание будущего движения включаю сохранение общего рисунка дороги. Маленькие изменения вокруг капель допустимы для замысла; крупный поток потребовал бы другой сцены и другого отношения героя к происходящему.
Теперь можно связать три зоны одним заданием:
Оживи прикреплённую рисованную сцену ожидания на остановке. Сохрани плоскую аниме-графику, тёмные контуры и простые тени. Мужчина в синем пальто стоит неподвижно и продолжает смотреть вправо; его лицо, воротник и силуэт не меняются. Стойка и крыша остановки остаются прямыми. Справа дождевые линии спокойно движутся вниз. Мокрая дорога сохраняет общий рисунок отражений, без большого потока воды. Камера неподвижна, общий свет сохраняется. Не добавляй жестов, поворота головы, новых предметов и фотографической фактуры кожи.
Это предлагаемый запрос. Для старта от картинки в браузере LibraChat есть «Оживление фото» в разделе «Изображения» с типом «Видео». Прикрепляют исходник и описывают движение. Обычная переписка ответным сообщением ролик не создаёт; нужно открыть подходящий режим LibraChat. Доступ к нему и качество результата зависят от тарифа.
После получения видео просмотри правую часть, затем весь кадр целиком. Если дождь выразительный, но мужчина стал поворачиваться, оба наблюдения нужно сохранить. Одно удачное движение не отменяет другого, непрошеного. Для новой попытки я назвал бы конкретное отклонение и сократил число требований, которые спорят между собой. Готовый загруженный ролик LibraChat не исправляет покадрово.
По краям: пространство дождя нельзя потерять при обрезке
Эта композиция горизонтальная. Если нужен вертикальный ролик, проверка начинается с нового расположения частей. Тесная обрезка справа может убрать дождливую улицу — именно ту область, ради которой создаётся движение. Я бы сначала подготовил подходящий по форме исходник, сохранив читаемый профиль, стойку и достаточный участок осадков.
Полезно пройти такой порядок ещё до запуска:
Выбрать, в каком формате будут смотреть сцену.
Убедиться, что в этом формате остаются все три смысловые зоны.
Отдельно рассмотреть крупные контуры и мелкий узор дождя.
Только затем отправлять исходник на оживление.
В готовой версии проверь начало и конец. Случайный жест в последнем мгновении может заставить ждать продолжения, которого у тебя нет. Спокойная сцена ожидания может закончиться так же спокойно. Бесшовную петлю один предложенный запрос не гарантирует, и выдавать этот фрагмент за целый аниме-фильм тоже незачем.
Прямо сейчас раздели свой рисунок на смысловые области и назначь каждой одну роль. Найди неподвижные опоры и место для главного движения. На моей остановке они уже видны: человек слева, стойка между ним и улицей, дождь справа. Остальным деталям можно сохранить их нарисованное спокойствие.
