Мне нужно сделать видео аудио эквалайзера.
Так что мне нужен скрипт, который анализирует аудио каждый кадр и извлекает частотный спектр, чтобы я мог как-то нарисовать его и сделать эквалайзер.
Первая часть проблемы легко решается во внешнем интерфейсе. поскольку существует множество визуализаций эквалайзера с открытым исходным кодом в canvas.
В браузере все работает хорошо, но у меня проблема с созданием mp4.
Я пытался использовать безголовые браузеры (pupeteer и фантом js) для захвата кадров с холста, но я не смог получить частоту кадров выше 10 кадров в секунду, что привело к недопустимому качеству видео и проблемам с синхронизацией c при подключении кадров jpg и mp3 через ffmpeg. План состоял в том, чтобы ускорить его, так что вам не нужно ждать полной длины звука до конечной sh, чтобы получить mp4, но я даже не могу заставить его показывать более 10 кадров в секунду при обычной скорости воспроизведения.
Я чувствую, что технологии, которые, как я думал, сработают, еще нет, и мне может понадобиться другой подход.
Единственное условие - это то, что он должен работать как скрипт на сервере linux. Так что любой язык программирования или любой дизайн эквалайзера будет работать.
Любые идеи или ресурсы приветствуются. Спасибо