Поток H.264 обычно отправляется как Транспортный поток (TS). Если вы хотите сохранить его в файл, вам нужно демультиплексировать его, а затем преобразовать в формат, подходящий для хранения файлов, например MP4.
Возможно, вам придется отключить bframes в вашем кодере. Сохранение RTP H.264 не помогло мне с включенными bframes.
Я также советую использовать низкое значение ключа, потому что дамп будет доступен для чтения только после первого ключевого кадра.
Вы можете использовать VLC для сохранения входящего потока с помощью этой команды:
vlc -I rc rtp://@:4444 :sout=#std{access=file,mux=mp4,dst=output.mp4} :ipv4
Заменить 4444 номером порта.