Визуализатор YUV / PCM для измерения синхронизации губ

Question

У меня есть два файла дампа необработанного видео и необработанного аудио из кодировщика, и я хочу иметь возможность измерять "Lip-sync". Вообразите видео удара молотом по наковальне. Я хочу идти кадр за кадром и видеть, что, когда молоток, наконец, ударяет по наковальне, на звуковой дорожке наблюдается скачок амплитуды.

Из-за скорости, с которой все происходит, я не могу просто слушать аудио, мне нужно видеть форму волны во временной области.

Существуют ли какие-либо инструменты, которые позволят мне просматривать видео и аудио?

Answer 1

Если вас беспокоит проверка декодера, то, как правило, с точки зрения проверки, цель состоит в том, чтобы сравнить значения PTS аудио и видео с общими часами реального времени.

Необработанные файлы YUV и PCM не содержат меток времени. Если вы знаете частоту кадров и частоту дискретизации, вы можете использовать необработанный просмотрщик файлов yuv (я написал свой собственный), чтобы выяснить время (с начала файла) данного кадра в видео, и инструмент, такой как Audacity, чтобы выяснить время от начала файла до начала звука в аудиофайле. это все еще может не рассказать вам всю историю, так как инструменты обычно включают задержку между аудио и видео в файле ts / ps. Или вы можете подключиться к OScope и пойти в старую школу.