Как выбрать небольшой фрагмент старого видео, проверить гребёнку, мерцание и синхронность после реставрации. Пример с оцифрованной домашней записью.
Евгений
Дизайнер-партнёр LibraChat
6 мин чтения
На оцифрованной домашней записи начинается шахматная партия. В остановленном кадре белая ладья хорошо различима. Стоит пустить файл, и рука над шахматной доской на нескольких кадрах распадается на горизонтальные зубцы. Перед тем как чистить весь ролик, я оставлю для пробы шесть секунд. Пусть на них рука появится, передвинет фигуру и уйдёт, а рядом будет слышен короткий стук по доске.
Реставрация видео нейросетью требует смотреть на движение. Результат в одном кадре может выглядеть чисто, а в следующем у ладьи меняется контур. Для проверки я беру короткий участок с неподвижной деталью, следующим за ней движением и слышимым событием. Такой отрезок помогает выбрать обработку до экспорта всей партии.
Выбери фрагмент, на котором виден дефект
Шахматная доска даёт мне удобную опору. Клетки вокруг руки стоят на месте, сам край доски тянется ровной линией. На исходном видео можно сравнить место с рукой и неподвижный угол. Если зубцы заметны почти только на быстром движении, стоит сначала разобраться с типом сканирования кадра. Один и тот же короткий пробный фрагмент нужен для всех версий. Тогда можно вернуться к месту, где фигура пересекает одну и ту же клетку.
Для теста выпиши, что именно хочется изменить:
Горизонтальная гребёнка вокруг движущейся руки. Отметь, видна ли она, когда рука замирает.
Сильное мерцание яркости на неподвижном белом углу доски. Посмотри этот угол несколько секунд, а не в одном кадре.
Шум на тёмном фоне. Найди участок без движения и рядом один участок с тканью или мелкой фактурой.
При просмотре я отмечаю начало и конец пробных секунд. До обработки полезно открыть исходник в обычном проигрывателе и посмотреть, повторяется ли проблема там же. Например, некоторые программы выводят чересстрочное видео с обработкой при просмотре. В редакторе или при экспортировании может выглядеть иначе. Сохраняй тот же исходный файл, чтобы потом отличить воспроизведение от изменений, уже записанных в видео.
Реставрация видео нейросетью на одном коротком участке
В чересстрочном видео два поля кадра состоят из разных строк, и они могут быть сняты в разные мгновения. Когда их показывают как один полный кадр, на движущемся крае может стать заметной гребёнка. Выбирая настройку, проверь тип исходника по сведениям об оцифровке и свойствам файла. Гребёнка на экране остаётся поводом для проверки, особенно если исходник успели перекодировать. Описание типов видео и моделей Topaz.
В Topaz Video, например, есть режим Interlaced для чересстрочного материала и отдельное семейство Dione. Документация по Dione DV предлагает выбрать параметры и сгенерировать предпросмотр, а также предупреждает, что частота кадров в описанном режиме может удвоиться. Для первой пробы я сверяю выбранный тип входа, свойства экспортируемого фрагмента и его длительность. Удвоенное число кадров и ускоренное воспроизведение — разные изменения, их видно по разным измерениям. Инструкция Topaz по Dione DV.
Что мешает в просмотре · Какой тест сделать первым · Что сверить между версиями
Зубцы по краю руки при движении — Уточнить тип входных кадров и проверить короткий деинтерлейс — Рука идёт по той же траектории, шов на краю стал менее заметен
Яркость доски скачет при неподвижной камере — Сравнить подряд несколько секунд, прежде чем менять резкость — Серия кадров стабильна, свет от самой сцены сохранён
В тёмной одежде много зерна — Сделать умеренную пробу шумоподавления — В складках осталась фактура, край рукава движется цельно
Слышен стук раньше, чем фигура встаёт — Сравнить видео со звуком на двух точках фрагмента — Момент контакта совпадает со слышимым ударом
Авторы Bringing Old Films Back to Life использовали сведения из соседних кадров, чтобы повысить согласованность восстановления старой плёнки. Если дефект закрывает деталь на одном кадре, она может быть видна в следующем. У нашей домашней записи своя природа, но полезен тот же способ смотреть на результат: пройтись вдоль движения, а не выбирать самый красивый стоп-кадр. Работа, опубликованная на CVPR 2022.
Что посмотреть в готовом фрагменте
Я начинаю на обычной скорости. Видно, кажутся ли фигура и рука цельными. Затем ставлю на паузу там, где пальцы перекрывают верх ладьи. Пролистываю два соседних кадра. Хочу убедиться, что контур фигуры меняется вместе с движением руки, без внезапного второго края. Лишний след может быть трудно заметить в целом ролике, а на коротком повторе он сразу цепляет взгляд.
Для решения мне хватает трёх отметок:
В первом моменте сдвига руки проверь край вокруг запястья и одну неподвижную границу доски.
Сравни стук при касании фигуры. Для проверки остального ролика подойдёт ещё одно событие ближе к концу, например закрытие шахматных часов.
Сохрани, какой тип входа и какие свойства вывода использовались. По этой записи можно повторить обработку небольшой части, если на длинном отрезке возникнет новый сбой.
Храню оцифрованный ролик отдельно и без всей цепочки правок. Он пригодится, если текущий экспорт срезал край или изменил звук. Для отдельного снимка проверка выглядит немного иначе. В разборе реставрации фотографий основной ориентир — исходное изображение и границы конкретной правки. В видео я добавляю проверку каждого такого места в движении.
Для старой кассеты я бы держал отдельно файл оцифровки, рабочий проект и компактный ролик для просмотра. Это нужно уже при первой пересылке: получатель увидит маленькую копию, а у нас останутся звук и изображение в том виде, в каком их перенесли с носителя. Национальный архив США рекомендует использовать копии аудиовизуальных записей для работы, когда повторное воспроизведение может повредить оригинал. В домашней задаче с кассетой я сохраняю эту границу и подписываю, где исходная оцифровка, а где файл после обработки. Руководство Национального архива США.
Запиши шесть секунд с шахматами в заметку прямо сейчас. Если нужно навести порядок в результатах просмотра, вставь в LibraChat текстовые наблюдения и такую задачу:
Составь журнал проверки оцифрованного видео. Для каждого таймкода выпиши, какой дефект виден на исходнике, что я заметил после обработки и что ещё надо сверить. Если я описал стук или речь, добавь отдельную отметку о синхронности. Используй мои наблюдения и сохраняй указанные таймкоды.
Когда будешь сравнивать несколько записей, проверь условия доступа перед сбором всей папки наблюдений. Первое решение по нашему кадру очень простое: рука дошла до ладьи, доска осталась ровной, стук совпал с касанием. Если три наблюдения сходятся на коротком экспортированном файле, есть основания переходить к более длинной пробе.