Оживить фото реалистично: как нейросеть держит форму
Как оживить фото реалистично: что нейросеть дорисовывает между кадрами, как выбрать движение, сохранить геометрию предметов и проверить короткий ролик перед показом.
Евгений
Дизайнер-партнёр LibraChat
8 мин чтения
Ручка чашки не должна дышать. Я держу это правило перед глазами, когда нужно оживить фото реалистично: нейросеть может сделать выразительное движение, но зритель быстрее заметит, что неподвижный предмет вдруг меняет форму. Начинать стоит с другого обещания: короткий ролик сохранит убедительность исходной фотографии, а двигаться будет только то, чему действительно есть куда двигаться.
На моём рабочем листе лежит снимок мастерской: чашка у окна, деревянная столешница, лёгкая занавеска. Соблазнительный сценарий напрашивается сразу. Камера облетает стол, ткань взмывает, пар закручивается спиралью. Я сначала записал именно его. Потом посмотрел, сколько неизвестного потребовал от одной фотографии. Почти весь будущий кадр пришлось бы придумать.
Чашка осталась на месте, а сценарий пришлось сократить
В фотографии видна одна сторона ручки. При облёте понадобится оборотная, которой на исходнике нет. За чашкой скрыт участок стола. Под тканью неизвестна форма подоконника. Чем больше поворот камеры, тем больше новых поверхностей должен построить генератор между началом и концом движения.
Снять красивый кадр и восстановить его пространство по одному изображению приходится разными способами. Поэтому я разделяю режиссёрскую задачу и точность предмета. Если важна именно эта чашка, её профиль нельзя расходовать ради эффектного пролёта. Для свободной фантазии годится другой исходник, где узнаваемость предмета не является условием.
Я попробовал разметить сценарий на бумаге: одна стрелка для ткани, другая для тени, третья для камеры. Третью зачеркнул. Ткань тоже отвлекала, потому что касалась ручки. Осталась полоса света за предметом. Скромнее? Да. Зато у сцены появился ясный центр внимания.
Реализм начинается с перечня того, что не должно меняться. Разрешённое движение записывается после этого перечня. Такой порядок помогает выбирать исходник ещё до генерации и не просить от фотографии сведения, которых в ней нет.
Как оживить фото реалистично и что нейросеть видит в кадре
Я проверил снимок по трём опорам: край столешницы, основание чашки, вертикальная рама окна. Все они хорошо различимы. Значит, после создания ролика можно будет следить за конкретными линиями, а не обсуждать расплывчатое впечатление «что-то поплыло».
Контакт чашки со столешницей выдаёт подмену формы раньше декоративного блика. Зритель не знает размеров чашки, но отлично считывает её опору. Если основание на мгновение отрывается от поверхности или тень движется в другую сторону, убедительность пропадает даже при красивом освещении.
Что хочется оживить · Что уже видно на фото · Что потребуется дорисовать · Осторожное решение
Солнечную полосу на стене — Стена и направление света — Изменение яркости участка — Небольшое смещение тени
Край занавески — Контур свободной ткани — Промежуточные складки — Движение вдали от чашки
Ручку чашки при облёте — Передняя поверхность — Скрытую сторону и фон за ней — Сохранить ракурс
Надпись на керамике — Плоское изображение букв — Буквы при новом угле — Не поворачивать предмет
Эта таблица не предсказывает результат модели. Она показывает цену режиссёрского решения: сколько неизвестных деталей мы добавляем каждой новой стрелкой. Мне удобнее убрать лишнюю стрелку, чем потом пытаться описать все возможные искажения длинным запретом.
Перед подготовкой запроса я выписываю неподвижные опоры:
Овал края чашки и расстояние от него до ручки.
Место соприкосновения основания со столом.
Наклон оконной рамы и линия края столешницы.
Положение камеры относительно этих линий.
На другом снимке список будет иным. Для велосипеда важны оси колёс и точки опоры; для букета в вазе стоит различать движение лепестка и самого сосуда. Я не переношу перечень предметов механически из одной сцены в другую.
Ещё до запроса я увеличиваю исходную фотографию и проверяю границы чашки. Если ручка слилась с тёмной стеной, разумнее подобрать другой снимок, где контур различим. Генерация движения не превращает неясный исходник в достоверную запись скрытых деталей. Резкость важна именно там, где я собираюсь сравнивать форму, а не в каждом участке дальнего фона.
Проверяю и запас пространства. При неподвижной камере тени нужна свободная стена, по которой она пройдёт. Если весь фон закрыт предметом, выбранное событие просто не поместится. Тогда я меняю сам сценарий, а не дописываю ещё одно требование к той же фотографии.
Сначала задание на движение, потом название сервиса
Мне помогает короткая запись: один источник движения, неподвижный ракурс, понятный конец. В нашей мастерской источником становится свет за окном. Конец события тоже описывается зрительно: тень останавливается на правой стороне стены, не добравшись до чашки.
В предлагаемом запросе я бы оставил только наблюдаемые условия. Например, такой текст для исходного кадра с чашкой:
Анимируй только свет на фотографии мастерской с чашкой у окна. Камера остаётся неподвижной. Мягкая тень оконной рамы медленно смещается вправо только по дальней стене. Чашка, её ручка, стол и оконная рама сохраняют положение и форму. Ткань занавески остаётся спокойной. В конце тень останавливается на стене справа от чашки. Свет меняется плавно, без вспышек.
Это заготовка, которую нужно сопоставить со своим исходником. Если окна на нём нет, не стоит оставлять оконную раму в запросе. Если тень уже лежит на чашке, нельзя одновременно просить сохранить её освещение и переместить эту же тень по всему кадру.
Я собрал условия в такой последовательности, потому что сначала задаётся событие, затем его границы. Размытая просьба «пусть всё выглядит натурально» не объясняет, что именно считать успехом. Слово «реалистично» полезно как ориентир, но не заменяет направление и неподвижные опоры.
Попробуй оживить только тень за чашкой. Для выбранного снимка открой LibraChat в браузере и перенеси фотографию в «Оживление фото» внутри «Изображений». Там создаётся ролик по исходному кадру; обычное сообщение в переписке не запускает видео. Если эти два результата пока смешиваются, разбор генерации видео поможет определить, где заканчивается описание и начинается новая видеосцена.
Проверять нужно участок между красивыми кадрами
Самое неприятное место обычно не на первом кадре. Там фотография ещё узнаваема. На последнем взгляд уже занят результатом движения. Посередине проще пропустить краткий скачок масштаба или изгиб линии, который при повторном просмотре становится очевидным.
Я отмечаю три позиции просмотра: начало, середина, завершение. Это моя схема контроля, а не технический предел сервиса. Затем смотрю ролик 2 раза: сначала целиком, потом с вниманием к отмеченным переходам. Остановка помогает обнаружить дефект формы, а непрерывный просмотр показывает рывок, который отдельные кадры скрывают.
Сравни основание предмета с исходной фотографией: оно всё ещё касается той же точки?
Проследи за одной прямой линией фона на протяжении всего ролика.
Проверь, что движение заканчивается там, где было описано в задании.
Посмотри сцену целиком и оцени, не перетянула ли тень внимание с чашки.
Я не начинаю с оценки красоты. Сначала выясняю, сохранился ли предмет. Декоративный блик можно убрать монтажом, но если ручка стала другой, ролик уже перестал выполнять исходную задачу показать конкретную вещь.
Есть и вторая проверка. На маленьком экране еле заметный изгиб может исчезнуть, зато мелкая дрожь света станет раздражать сильнее. Поэтому я смотрю готовый файл примерно в том размере, в котором его увидит зритель, и не полагаюсь на удачный стоп-кадр.
Одна поправка, которую можно проверить
Допустим, чашка сохраняет форму, но тень уходит на передний план. Я бы не переписывал всю сцену и не добавлял десяток новых требований. Следующее задание должно уточнить только область движения: дальняя стена, выше края чашки, без перехода на стол.
Если скачет масштаб, причина требует другого уточнения: зафиксировать ракурс и исключить приближение. Если дрожит ручка, стоит убрать движение рядом с ней или выбрать исходник с более ясным контуром. У этих ошибок разные причины, а универсальная просьба «улучши качество» не позволяет понять, что изменилось.
Присланное видео LibraChat не редактирует. Поэтому такой разбор нужен для новой генерации по исходной фотографии, а не для обещания исправить загруженный ролик. Монтировать готовые сцены и выбирать фрагмент для публикации приходится отдельно. Я держу оригинал рядом: он нужен для сравнения и следующей попытки.
Оживить фото реалистично: нейросеть и та же чашка
Перед запуском ещё раз сопоставь описание со своей фотографией: тень должна двигаться по стене, а чашка оставаться на месте. Наличие оживления фото и текущие условия для выбранного доступа проверь в тарифах LibraChat. Я бы сначала выбрал кадр без мелких надписей и сложного пересечения предметов.
Когда хочется оживить фото реалистично, нейросеть не обязана изображать бурное событие. Иногда достаточно тени на стене. Зритель видит перемену света, узнаёт чашку и не замечает работы, которую мы проделали, оставляя ручку неподвижной. Для предметного ролика это хороший результат режиссуры, который всё равно нужно подтвердить просмотром готового файла.