Мне не совсем понятно, хотите ли вы изменить формат видео или просто формат контейнера. Если вы просто хотите записать существующий вывод камеры в другой файл контейнера, вам нужен мультиплексорный фильтр. Есть мультиплексорный фильтр MP4, доступный в исходной форме на www.gdcl.co.uk/mpeg4. Если вы подключите выход камеры к этому фильтру, а затем к устройству записи файлов, все будет в порядке.
Если, с другой стороны, вам необходимо также кодировать выходные данные камеры для видео в формате mpeg-4, то я думаю, что вам нужно будет лицензировать сторонний фильтр кодера.
G