Потоковое живое видео MJPEG с Gstreamer через OpenCV - PullRequest
Новая
       110

Потоковое живое видео MJPEG с Gstreamer через OpenCV

0 голосов
/ 21 февраля 2019

У меня есть веб-камера USB, которая транслирует видео MJPEG.Я пытаюсь прочитать поток в OpenCV на ноутбуке, выполнить некоторую обработку для кадров в OpenCV и отправить поток через UDP на Raspberry Pi.

Используя интерфейс командной строки gstreamer, я могу отправить канал веб-камеры прямо с ноутбука на Raspberry Pi.Я запускаю эту команду на ноутбуке: 

gst-launch-1.0 v4l2src device=/dev/video1 ! image/jpeg,width=640,height=480,framerate=30/1 ! jpegparse ! rtpjpegpay ! udpsink host=10.1.10.77 port=8090

И это от Pi: 

gst-launch-1.0 udpsrc address=10.1.10.77 port=8090 ! application/x-rtp, encoding-name=JPEG,payload=96 ! rtpjpegdepay ! jpegdec ! videoconvert ! fbdevsink device=/dev/fb0

Видео появляется в середине экрана Pi, и все хорошо.Но когда я пытаюсь внедрить OpenCV в этот процесс, я запутываюсь.Следующий код успешно отправляет видео ... 

import cv2

# Object that pulls frames from webcam
cap_fetch = cv2.VideoCapture(1)
cap_fetch.set(cv2.CAP_PROP_FRAME_WIDTH,640);
cap_fetch.set(cv2.CAP_PROP_FRAME_HEIGHT,480);

# Object that sends frames over gstreamer pipeline
cap_send = cv2.VideoWriter('appsrc ! videoconvert ! video/x-raw,format=YUY2 ! jpegenc ! rtpjpegpay ! udpsink host=10.1.10.77 port=9000', 0, 0 , 30, (640,480))

if not cap_fetch.isOpened() or not cap_send.isOpened():
    print('VideoCapture or VideoWriter not opened')
    exit(0)

while True:
    ret,frame = cap_fetch.read()

    if not ret:
        print('empty frame')
        break

    # do stuff to frame

    cap_send.write(frame)

    cv2.imshow('send', frame)
    if cv2.waitKey(1)&0xFF == ord('q'):
        break

cap_fetch.release()
cap_send.release()

... Но оно не не работает, если я выбираю любой формат, кроме YUY2, или если я пытаюсь что-то вроде этого:

cap_send = cv2.VideoWriter('appsrc ! image/jpeg ! jpegenc ! rtpjpegpay ! udpsink host=10.1.10.77 port=9000', 0, cv2.VideoWriter_fourcc('M','J','P','G'), 30, (640,480))

Есть идеи, почему это может быть?Я очень новичок в gstreamer, но я думаю, что рабочий конвейер от OpenCV до Pi преобразовывает необработанные матрицы изображений BGR из openCV в видео YUY2, затем конвертирует в видео MJPEG, затем отправляет - что не кажется эффективным, илия что-то пропустил?Есть ли более чистый способ сделать это?

...