Нейросеть и танец под песню: выбираем сервис по входам — аудио, референс движения или шаблон, — а затем проверяем стопы, жесты и совпадение с тремя долями.
Денис
Продакт LibraChat
8 мин чтения
У меня на столе три файла: 12 секунд собственной песни, картинка взрослого рисованного персонажа и пустое место, где должно появиться движение. Запрос «нейросеть танец под песню» кажется одной задачей, но сервисы читают входы по-разному. Один переносит уже снятое исполнение, другой принимает аудио как условие генерации, третий помогает собрать ролик на монтажной шкале. Выбор начинается не с названия модели, а с отсутствующего файла.
Я отмечаю в песне три слышимые точки: начало движения, первый сильный акцент и окончание фразы. Этого мало для полноценной хореографии, зато достаточно для короткого теста. Если персонаж начинает жест после акцента или не успевает остановиться, я увижу расхождение раньше, чем потрачу время на длинный ролик.
Когда есть только песня: движения ещё не существует
Аудиодорожка сообщает темп, изменения громкости и структуру фрагмента. Она не показывает, какой рукой персонаж сделает жест, куда перенесёт вес и где окажутся стопы. Просьба «танцуй в ритм» оставляет все эти решения генератору. Иногда это подходит для фоновой пластики. Для узнаваемой связки нужен ещё один источник движения или более точное описание фаз.
Я сначала пишу не промпт, а маленькую схему:
Точка в 12 секундах · Что слышно · Что должно быть видно
Старт — Вступает ударный рисунок — Персонаж выходит из исходной позы
Средний акцент — Короткий усиленный удар — Заканчивает поворот корпуса и фиксирует жест
Финал — Фраза обрывается — Возвращает опору и остаётся в устойчивой позе
Это авторский тест, а не обещанная точность конкретной модели. Он помогает понять, что именно означает «под песню» в моём ролике. Если достаточно общего движения и смены планов на музыкальных акцентах, можно искать audio-led генерацию. Если важны определённые шаги, придётся сначала снять их или выбрать готовый шаблон.
Если важны конкретные жесты: нужен driving performance
Runway Act-Two принимает видео с исполнением и изображение либо видео персонажа. По официальной инструкции driving performance передаёт движение, выражение, звук и жесты. Значит, песня входит в процесс вместе с уже сыгранной сценой: человек двигается под нужный фрагмент, а система переносит исполнение на персонажа.
Этот маршрут выбираю, когда знаю, каким должен быть жест. Он снимает с модели задачу сочинить хореографию по одному аудио. Но документация рекомендует одного человека, видимое лицо, отсутствие монтажных склеек и кадр не дальше чем по пояс. Для работы ног это серьёзное ограничение. Act-Two разумнее проверять на корпусе, руках и мимике, а не обещать точный перенос сложной связки со стопами.
Практический тест выглядит так:
Снять один непрерывный 12-секундный дубль под нужный фрагмент.
Начать в позе, близкой к позе персонажа на картинке.
Оставить руки в кадре с первого мгновения.
Сделать один поворот корпуса и один ясный жест вместо серии резких движений.
Сравнить три заранее отмеченные звуковые точки с результатом.
Act-Two работает в браузере, доступен с плана Standard, поддерживает 3–30 секунд и списывает 5 кредитов за секунду. Эти условия могут измениться, поэтому перед покупкой я сверяю текущую страницу продукта. Для моего теста важнее даже не цена секунды, а наличие собственного driving video: без него выбранный маршрут не начинается.
Если аудио должно направлять генерацию: проверяю Seedance отдельно
Страница Seedance 2.0 на Viggle описывает другой тип входа. В одну задачу можно передать текст, изображения, видео и аудиоклипы; для аудио и видео указан предел до 15 секунд, результат создаётся с синхронизированным звуком. В примерах применения отдельно названы музыкальные и танцевальные ролики.
Это ближе к моему исходному набору «песня + персонаж», когда готовой записи танца нет. Я могу дать 12-секундный отрывок, изображение героя и описать три фазы. Но слово synchronized не следует читать как гарантию, что каждая стопа попадёт в музыкальную долю. Оно подтверждает совместный аудиовизуальный результат. Точность конкретной хореографии всё равно проверяется на ролике.
Для первого запроса я бы использовал такую формулировку:
Один взрослый рисованный персонаж в полный рост, неподвижная камера. В начале он переносит вес вправо, на среднем сильном акценте заканчивает поворот корпуса и поднимает левую руку, к окончанию музыкальной фразы возвращается в устойчивую фронтальную позу. Сохрани одежду, лицо и фон. Без прыжков, дополнительных людей, смены сцены и движения камеры.
Это предложенный промпт, а не результат фактической генерации. Из документации нельзя вывести, что он обязательно сохранит лицо или выполнит все фазы. Seedance 2.0 на Viggle указан для платных планов, поэтому сначала я проверю доступность именно аудиовхода и длительность в своём аккаунте, затем запущу один короткий фрагмент.
Когда достаточно готового движения: шаблон дешевле неопределённости
У CapCut есть каталог танцевальных шаблонов и монтажная шкала для аудио. Такой маршрут полезен, если конкретное готовое движение уже подходит. Тогда я смотрю preview, число требуемых клипов и расположение акцентов, а не прошу модель придумать новую связку.
Собственную дорожку можно импортировать в редактор, обрезать и расположить визуальные фрагменты около важных изменений. В некоторых сценариях Talk or sing принимается аудиозапись. При этом документация самого CapCut предупреждает: одна генерация не обязана дать законченный клип с идеальным таймингом и непрерывным персонажем. Монтаж остаётся частью работы.
Шаблон не универсален. Он может включать фиксированную длительность, движение и исходный звук. Я заранее проверяю, можно ли заменить аудио, не разрушив акценты, и есть ли право использовать выбранную песню и референс. Надпись free рядом с шаблоном тоже не гарантирует бесплатный экспорт всех применённых эффектов в моём аккаунте.
Что проверяю в интерфейсе перед загрузкой песни
Одинаковое слово audio возле кнопки может означать разные вещи. В одном сервисе дорожка управляет генерацией. В другом она просто переносится из driving video. В редакторе это может быть отдельный слой, который пользователь сам двигает по шкале. Поэтому перед оплатой я ищу не общую фразу про поддержку звука, а последовательность входов на экране.
У меня есть короткий лист проверки:
можно ли прикрепить собственный аудиофайл именно в режиме генерации;
остаётся ли этот звук в готовом видео или служит только референсом;
требуется ли дополнительно видео движения;
какая длительность доступна для одного запуска;
видны ли стоимость попытки и формат кадра до нажатия Generate;
можно ли выгрузить результат и продолжить монтаж отдельно.
Для Act-Two стоимость 12-секундной попытки по указанной ставке составит 60 кредитов. Это простое произведение, а не цена в рублях и не обещание текущего тарифа. Перед запуском я смотрю расчёт в самом интерфейсе: документация Runway показывает стоимость там же, где выбирается длительность.
Я также не загружаю случайно найденный клип человека как driving performance. Для теста беру собственную запись или материал, на использование которого есть разрешение. То же относится к песне. Техническая возможность принять файл не даёт прав на чужую запись и не гарантирует, что площадка публикации разрешит её распространение.
Как выбрать маршрут до оплаты
Я свожу решение к тому, чего у меня пока нет:
нет хореографии, но есть аудио и персонаж — тестирую audio-led Seedance на коротком отрывке;
есть собственное исполнение под песню — проверяю перенос через Act-Two;
устраивает готовая связка — начинаю с шаблона и монтажной шкалы CapCut;
нужна точная работа ног — не считаю waist-up performance capture доказательством пригодности и ищу полнофигурный референсный маршрут.
Качество оцениваю по трём слоям. Сначала смотрю тайминг в обычной скорости. Затем ставлю паузу на самом широком жесте и проверяю руки, лицо и одежду. В конце включаю звук снова и убеждаюсь, что финальная поза совпадает с концом выбранной фразы. Удачный стоп-кадр не компенсирует запоздалое движение.
Я опишу три временные точки короткого музыкального фрагмента и желаемую позу в каждой. Собери техническое задание для генератора видео. Не придумывай промежуточную хореографию, не обещай точное попадание в бит и отдельно перечисли, какие входы мне ещё нужно подготовить.
Это работа с описанием. Обычный ответ чата не создаёт танцевальный ролик и не анализирует загруженную песню как музыкальный генератор. Доступные текстовые возможности указаны на странице тарифов. Отдельно о движении по описанию без аудиосинхронизации рассказывает материал про нейросеть для танцев в видео.
Прямо сейчас поставь три метки на своём коротком фрагменте и запиши видимую позу для каждой. Если между ними всё ещё нет понятного движения, сначала выбери источник хореографии. Именно этот выбор отделяет сервис для переноса исполнения от генератора, которому ты отдаёшь песню как условие.
