После включения логов я понял, что мне не хватает декодера для h264.Вот обновленные опции.Добавление h264 в декодер, анализатор, кодировщик, демультиплексор, мультиплексор (хотя добавление ко всем из них не является необходимым, но это работает). Объединенные .so файлы для arm - меньше чем 3 МБ.
--disable-everything
--enable-decoder=mpeg4,mpegvideo,aac,gif,h264
--enable-parser=aac,mpeg4video,mpegaudio,mpegvideo,gif,h264
--enable-demuxer=mpegvideo,aac,mov,gif,h264
--enable-muxer=mp4,gif,mov,h264
--enable-protocol=file
--enable-encoder=mpeg4,mov,gif,h264
--enable-filter=scale,fps,copy,palettegen,vflip,paletteuse,crop