Выделенные элементы в скриншоте показывает, что битовый поток начинается с блоком SPS, то блоком PPS, то блок SEI, а затем ломтиками IDR изображения, то не эталонными изображениями срезов. Это все нормально и ожидаемо.
Используйте
ffmpeg -i videofilename.h264 -c copy -bsf:v trace_headers -f null -
чтобы увидеть текстовый дамп разбора битового потока.