Эти части вставленного вывода:
Input #0, rtsp, from 'rtsp://10.17.8.138:554/h264.sdp
[...]
Output #0, mp4, to 'file.mp4':
Stream #0.0: Video: 0x0000, yuv420p, 640x512, q=2-31, 90k tbn, 90k tbc
скажите мне, что установка FFmpeg не знает, как кодировать видео H.264. Вероятно, это связано с тем, что поддержка libx264 не была встроена. Выполните:
ffmpeg -codecs | grep libx264
чтобы увидеть, есть ли поддержка. Если нет, перестройте с поддержкой libx264 и попробуйте снова.