У меня есть видео со звуком (уже упаковано в видео, но это может быть и отдельный файл).
Теперь я хочу применить некоторые шейдеры (не уверен, что это правильный термин), чтобы изменить внешний вид каждого кадра видео, но привязать некоторые параметры этого шейдера к некоторым характеристики (например, амплитуда) звукового фрагмента, соответствующего этому кадру.
Другими словами, я хочу изменить каждый видеокадр таким образом, чтобы он зависел от аудио, соответствующего каждому кадру.
Как можно подойти к следующей проблеме?
Я не хочу использовать какие-либо коммерческие продукты (но не стесняйтесь упоминать один). В идеале я рассматриваю решение как комбинацию некоторых инструментов командной строки (ffmpeg и т. Д.) С некоторым языком сценариев (например, Python). Я хочу, чтобы он работал под macOS, но приветствуются решения для любой ОС.