У меня были проблемы с параметрами, когда я устанавливал их вручную. Моя проблема была решена, когда я использовал профиль вместо настройки всех перечисленных вами параметров:
m_pCodecCtx->profile = FF_PROFILE_H264_BASELINE;
После этого вы можете установить постоянное качество с помощью crf, например:
m_pCodecCtx->crf = 28;
Затем вы устанавливаете параметры width, height, time_base и pix_fmt, как и вы.
Надеюсь, это поможет!