Я предполагаю, что вы ищете композитинг видео, чтобы несколько видео были выложены в виде мозаики, синхронизированной по времени со звуком. Проверьте этот пост . Представлено несколько решений. Постер решил проблему с помощью gstreamer, который предположительно работает для Windows, Mac и Linux.
Я бы предложил использовать что-то вроде GStreamer или Avisynth, поскольку они будут абстрагироваться от многих уродливых деталей (декодирование, масштабирование и трансляция видео, синхронизация видео, микширование звука, синхронизация звука, кодирование видеовыхода), которые потребуются, если вы только что использовал libavformat ffmpeg и libavcodec напрямую.