Вы можете попробовать OpenCV . Он имеет C, C ++ и Python API. Он обрабатывает изображения как матрицы, поэтому чтение видео приведет к получению матриц.
Говоря об интерфейсе C ++ (Python аналогичен), существует класс cv :: VideoCapture. Вы можете инициализировать такой объект своим именем видеофайла. Затем вы можете захватить каждый кадр отдельно и извлечь его в матрицу (cv :: Mat).