Мне удалось решить проблему, используя opencv, скомпилированный с gstreamer, и заставив opencv принять значение по умолчанию в качестве gstreamer (с cv2.CAP_GSTREAMER) вместо ffmpeg, чтобы открыть поток rtsp.Благодаря этому я смог открыть поток за 1,5 секунды