Захват видео не работает со всеми поддерживаемыми заглавными буквами - PullRequest
Новая
       64

Захват видео не работает со всеми поддерживаемыми заглавными буквами

0 голосов
/ 18 апреля 2019

Я использую Python 3.6 в Ubuntu 18.04 на NVIDIA Jetson TX2. Все программное обеспечение обновлено. Ядро Linux - 4.9.140-tegra . GStreamer - версия 1.14.1 .

У меня есть веб-камера, поддерживающая UVC, которая показывает следующие возможности, и мне нужно выполнять потоковую передачу в формате Y16 (GRAY16_LE): 

root@nvidia:/tmp# v4l2-ctl --list-formats-ext -d /dev/video1
ioctl: VIDIOC_ENUM_FMT
        Index       : 0
        Type        : Video Capture
        Pixel Format: 'UYVY'
        Name        : UYVY 4:2:2
                Size: Discrete 160x120
                        Interval: Discrete 0.111s (9.000 fps)

        Index       : 1
        Type        : Video Capture
        Pixel Format: 'Y16 '
        Name        : 16-bit Greyscale
                Size: Discrete 160x120
                        Interval: Discrete 0.111s (9.000 fps)
                Size: Discrete 160x122
                        Interval: Discrete 0.111s (9.000 fps)

        Index       : 2
        Type        : Video Capture
        Pixel Format: 'GREY'
        Name        : 8-bit Greyscale
                Size: Discrete 160x120
                        Interval: Discrete 0.111s (9.000 fps)

        Index       : 3
        Type        : Video Capture
        Pixel Format: 'RGBP'
        Name        : 16-bit RGB 5-6-5
                Size: Discrete 160x120
                        Interval: Discrete 0.111s (9.000 fps)

        Index       : 4
        Type        : Video Capture
        Pixel Format: 'BGR3'
        Name        : 24-bit BGR 8-8-8
                Size: Discrete 160x120
                        Interval: Discrete 0.111s (9.000 fps)

С помощью GStreamer из командной строки я могу успешно перевести устройство в состояние PLAYING с помощью gst-launch в нужном мне формате: 

root@nvidia:/tmp# gst-launch-1.0 v4l2src device=/dev/video1 ! video/x-raw,width=160,height=122,format='GRAY16_LE',framerate=9/1 ! fakesink
Setting pipeline to PAUSED ...
Pipeline is live and does not need PREROLL ...
Setting pipeline to PLAYING ...
New clock: GstSystemClock

Я пытаюсь открыть устройство в формате GRAY16_LE с помощью Python OpenCV: 

import cv2
cap = cv2.VideoCapture("v4l2src device=/dev/video1 ! video/x-raw, format=(string)GRAY16_LE, width=(int)160, height=(int)120, pixel-aspect-ratio=(fraction)1/1, framerate=(fraction)9/1 ! appsink")
ret, frame = cap.read()

Во время повышенного уровня отладки GStreamer возможности проверяются и печатаются ниже: 

0:00:00.260383826 15768      0x49a9850 INFO                    v4l2 gstv4l2object.c:4136:gst_v4l2_object_probe_caps:<v4l2src0:src> probed caps: video/x-raw, format=(string)UYVY, width=(int)160, height=(int)120, pixel-aspect-ratio=(fraction)1/1, framerate=(fraction)9/1; video/x-raw, format=(string)BGR, width=(int)160, height=(int)120, pixel-aspect-ratio=(fraction)1/1, framerate=(fraction)9/1; video/x-raw, format=(string)RGB16, width=(int)160, height=(int)120, pixel-aspect-ratio=(fraction)1/1, framerate=(fraction)9/1; video/x-raw, format=(string)GRAY8, width=(int)160, height=(int)120, pixel-aspect-ratio=(fraction)1/1, framerate=(fraction)9/1; video/x-raw, format=(string)GRAY16_LE, width=(int)160, height=(int)122, pixel-aspect-ratio=(fraction)1/1, framerate=(fraction)9/1; video/x-raw, format=(string)GRAY16_LE, width=(int)160, height=(int)120, pixel-aspect-ratio=(fraction)1/1, framerate=(fraction)9/1

При отладке GStreamer ошибки отображаются следующим образом: 

0:00:00.260385266 15768      0x4744c00 INFO              GST_STATES gstelement.c:2579:_priv_gst_element_state_changed:<v4l2src0> notifying about state-changed PAUSED to PLAYING (VOID_PENDING pending)
0:00:00.260529393 15768      0x49a9850 WARN                 basesrc gstbasesrc.c:3055:gst_base_src_loop:<v4l2src0> error: Internal data stream error.
0:00:00.260531697 15768      0x4744c00 INFO              GST_STATES gstbin.c:2952:gst_bin_change_state_func:<pipeline0> child 'v4l2src0' changed state to 4(PLAYING) successfully
0:00:00.260589009 15768      0x49a9850 WARN                 basesrc gstbasesrc.c:3055:gst_base_src_loop:<v4l2src0> error: streaming stopped, reason not-negotiated (-4)
0:00:00.260660881 15768      0x4744c00 INFO              GST_STATES gstbin.c:2087:gst_bin_get_state_func:<pipeline0> getting state
0:00:00.260748913 15768      0x49a9850 INFO        GST_ERROR_SYSTEM gstelement.c:2145:gst_element_message_full_with_details:<v4l2src0> posting message: Internal data stream error.
0:00:00.260762833 15768      0x4744c00 INFO              GST_STATES gstelement.c:2392:gst_element_get_state_func:<pipeline0> waiting for element to commit state
0:00:00.260909520 15768      0x49a9850 INFO        GST_ERROR_SYSTEM gstelement.c:2172:gst_element_message_full_with_details:<v4l2src0> posted error message: Internal data stream error.
0:00:00.261064816 15768      0x4744c00 INFO              GST_STATES gstbin.c:2504:gst_bin_element_set_state:<appsink0> current PAUSED pending VOID_PENDING, desired next READY
0:00:00.261189072 15768      0x49a9850 INFO                    task gsttask.c:316:gst_task_func:<v4l2src0:src> Task going to paused

Я использую тот же формат, который возвращает зонд, но ошибка указывает на «ошибку согласования формата». Как я могу это исправить, чтобы мои кадры появлялись в Python? Благодарю.

1 Ответ

0 голосов
/ 22 апреля 2019

Мне пришлось пропатчить файл cap_gstreamer.cpp в источниках OpenCV 4, а затем снова собрать и установить OpenCV.

В этот момент я мог захватить кадры с appsink в формате GRAY16_LE.

...