На самом деле сообщение об ошибке является правильным.
Если я правильно понимаю командную строку, вы хотите сделать STDOUT. Это невозможно для mp4, так как mp4 - это формат файла, который невозможно записать без последующего поиска и обновления верхнего / нижнего колонтитула.
Так что измените на mpegts или что-то еще, что может быть записано через канал.
В качестве альтернативы укажите имя файла выходного файла, тогда ffmpeg может записать файл mp4.