Какие нейросети работают с видео: выбери по исходнику
Какие нейросети работают с видео и что можно получить из текста, фотографии или готового ролика. Три маршрута для мастерской и критерии удачной пробы.
Евгений
Дизайнер-партнёр LibraChat
6 мин чтения
Для карточки мастерской нужны три коротких материала. Первый — вид на рабочий стол, которого пока никто не снимал. Второй — лёгкое движение на уже утверждённом фото бумажной модели. Третий — субтитры к записи мастера. Все три можно назвать работой с видео, однако на входе лежат совершенно разные вещи. Чтобы понять, какие нейросети работают с видео для конкретной задачи, я сначала смотрю на исходник и называю результат, который должен остаться после работы.
Возьмём условную мастерскую, где показывают настольные бумажные модели. Есть фотография сложенного куба и запись объяснения, а общего плана помещения пока нет. Для рекламы подойдёт новое иллюстративное видео. Для демонстрации конкретной готовой вещи важнее узнаваемость. Для записанной речи нужен текст, который совпадает с тем, что мастер сказал. Этим целям соответствуют три отдельных маршрута.
Какие нейросети работают с видео для разных исходников
Когда в папке только описание, попробуй генерацию видео по тексту. Сначала зафиксируй, что обязательно должно происходить: например, поворот бумажного куба при спокойной камере. В LibraChat для короткой новой сцены выбери «Видео» в разделе «Изображения», если эта возможность входит в твой тариф. Новый план я бы проверял по одному движению и нужной крупности. Общий вид мастерской в примере — эскиз, поэтому он не требует точного совпадения с настоящим помещением.
Когда есть готовое фото с подходящей композицией, ищи режим, который принимает изображение. В руководстве Runway для Gen-4.5 различаются старт из текста и старт из изображения с текстовым описанием движения. В случае с кубом я бы использовал свой снимок и просил двигаться заднюю тень или бумажный край. Так меньше причин внезапно получить совсем другую модель. На проверке важен контур одной и той же складки.
Если готовая запись нужна в прежнем виде, а зрители будут читать речь, пригодится средство для расшифровки и субтитров.
описывает автоматическую транскрипцию с выбором языка и диапазона записи. В этом случае бери дубль, который действительно пойдёт в работу. После автоматической расшифровки проверь фамилии, привычные сокращения и место, где голос прерывается. Эти ошибки видно только по исходной записи.
Что уже есть · Что выбрать · Что сверить в первом результате
Текстовое описание нового плана — Генерацию видео по тексту — Видно ли главное действие при нужной крупности
Кадр утверждённой модели — Преобразование изображения в видео — Сохраняется ли узнаваемая складка после движения
Отснятая речь — Автоматическую расшифровку в редакторе — Совпадают ли слова и время с записью
Я бы держал три файла в одной папке, но не подавал их в одну модель одновременно. Фото может быть полезным образцом цвета при генерации новой сцены. При анимации оно уже определяет, какая вещь находится в кадре. Один и тот же файл меняет роль в зависимости от твоего результата. Поэтому лучше записать роль прямо рядом с ним.
Напиши, что поступает на вход: описание, фото или запись.
Выбери одно свойство результата, которое важно сохранить.
Проверь, указан ли нужный тип входного материала в официальной инструкции инструмента.
Как составить первую пробу с одним отличием
Для нового плана предложи понятное действие. В примере один бумажный куб немного поворачивается, после него зритель видит другую сторону. Можно оставить свет и стол простыми. Если одновременно менять фон, скорость камеры и форму предмета, понять причину сбоя сложнее. Для сравнения возможностей посмотри разбор нейросетей для видео, а собственные варианты открывай на одном экране и при одинаковом масштабе.
Короткий предметный ролик для страницы мастерской. Один складчатый куб из плотной лиловой бумаги стоит на светлом деревянном столе. Камера держит средний план. Куб медленно поворачивается на четверть оборота, показывает соседнюю грань и ненадолго останавливается. В конце видна широкая диагональная складка. Мягкий свет падает справа.
Для фото я бы сформулировал проще: «Камера неподвижна. На поверхности слегка сдвигается тень от куба. Его передняя складка остаётся узнаваемой». Если нужно услышать мастера, проверяй рабочий отрезок записи, в котором есть трудное слово. При большой продолжительности это удобнее, чем сразу читать длинную распечатку. Поставь воспроизведение рядом с фразой и сравни, где речь заканчивается. Зритель должен успеть связать её с жестом мастера и видимым этапом.
Проверь результат в готовой карточке
Я открываю короткий клип в размере будущей карточки. Сместившаяся складка может быть неважна для условной иллюстрации, но критична, если её показывают как свойство конкретного изделия. Для субтитров посмотри, остаётся ли открытым место, где мастер показывает рукой сгиб. Иногда достаточно поднять строку выше, прежде чем увеличивать её размер. Это тоже решение, которое видно только рядом с готовой композицией.
Проверь новый план по одному наблюдаемому движению.
Сопоставь важную часть изделия с исходным фото.
Прочитай субтитр во время нужной реплики и взгляни, что он закрывает.
Если в техзадании появляется ещё одна цель, оцени её отдельно. Передать голос мастера и показать движение предмета можно в одном итоговом ролике. Сделать обе части в один проход необязательно. В черновом монтаже легко понять, почему не сходится вставка: свет отличается, подпись запаздывает или камера слишком близко. Тогда исправь ту часть, где замечен сбой, и собери материал снова.
Я бы также сразу спросил, в каком виде нужна передача результата. Если субтитры ещё будет редактировать коллега, удобнее сохранить их отдельно от изображения в формате, который принимает его редактор. Если нужен чистовой клип, проверь, видны ли строки уже в экспортированном файле или их показывает только твой проигрыватель. Оба варианта выглядят одинаково в рабочем окне, а после отправки ведут себя по-разному.
Для нового плана проверь ширину и высоту будущего окна до выбора инструмента. Куб легко поместится в середину вертикального кадра. Если рядом нужны руки мастера, стол выходит за края. Я бы посмотрел, принимает ли выбранный режим нужные пропорции, и оставил запас при съёмке исходника. Когда сначала подгоняют соотношение сторон, потом приходится менять или вырезать детали, которые и объясняют действие.
Прямо сейчас назови свой исходник и результат в двух коротких строках. «Есть запись голоса. Нужны точные субтитры» приведёт к одному инструменту. «Есть фото куба. Нужен плавный сдвиг тени» — к другому. Открой тот режим, который принимает твой исходник, и проверь одну деталь до монтажа всего ролика.