Скорее всего, вам придется отбрасывать лишние кадры вручную.
Хотя кое-что вы можете попробовать: в документации для vread сказано, что вы можете передать в качестве аргумента inputdict, который передается в читатель FFMpeg. Этот пример показывает, как читатель может установить скорость.Я думаю, что это, скорее всего, приведет к ускорению или замедлению видео.
import skvideo.io
rate = 4
video_frames = skvideo.io.vread(video_filepath, \
inputdict={'-r': rate})