Создать поток RTSP на основе изображений OpenCV в Python - PullRequest
Новая
       13

Создать поток RTSP на основе изображений OpenCV в Python

0 голосов
/ 27 июня 2018

Моя цель - прочитать кадры с сервера rtsp, выполнить некоторые манипуляции opencv с кадрами и записать манипуляции с кадрами на новый сервер rtsp.

Я попробовал следующее, основываясь на Записать в конвейер Gstreamer из opencv в python , но мне не удалось выяснить, какими должны быть соответствующие аргументы gst-launch-1.0 для создания сервера rtsp. Кто-нибудь может помочь с соответствующими аргументами gst-launch-1.0? Те, которые я попробовал, застряли в "Pipeline is PREROLLING" 

import cv2

cap = cv2.VideoCapture("rtsp://....")

framerate = 25.0

out = cv2.VideoWriter('appsrc ! videoconvert ! '
  'x264enc noise-reduction=10000 speed-preset=ultrafast 
   tune=zerolatency ! '
  'rtph264pay config-interval=1 pt=96 !'
  'tcpserversink host=192.168.1.27 port=5000 sync=false',
  0, framerate, (640, 480))


counter = 0
while cap.isOpened():
  ret, frame = cap.read()
  if ret:
    out.write(frame)

    if cv2.waitKey(1) & 0xFF == ord('q'):
      break
  else:
    break

cap.release()
out.release()

Я также попробовал другое решение, основанное на Запись кадров opencv в конвейер сервера gstreamer rtsp 

import cv2
import gi 

gi.require_version('Gst', '1.0')
gi.require_version('GstRtspServer', '1.0') 
from gi.repository import Gst, GstRtspServer, GObject

class SensorFactory(GstRtspServer.RTSPMediaFactory):
  def __init__(self, **properties): 
    super(SensorFactory, self).__init__(**properties) 
    #self.cap = cv2.VideoCapture(0)
    self.cap = cv2.VideoCapture("rtsp://....")
    self.number_frames = 0 
    self.fps = 30
    self.duration = 1 / self.fps * Gst.SECOND  # duration of a frame in nanoseconds 
    self.launch_string = 'appsrc name=source is-live=true block=true format=GST_FORMAT_TIME ' \
                         'caps=video/x-raw,format=BGR,width=640,height=480,framerate={}/1 ' \
                         '! videoconvert ! video/x-raw,format=I420 ' \
                         '! x264enc speed-preset=ultrafast tune=zerolatency ' \
                         '! rtph264pay config-interval=1 name=pay0 pt=96'.format(self.fps)

  def on_need_data(self, src, lenght):
    if self.cap.isOpened():
      ret, frame = self.cap.read()
      if ret:
        data = frame.tostring() 
        buf = Gst.Buffer.new_allocate(None, len(data), None)
        buf.fill(0, data)
        buf.duration = self.duration
        timestamp = self.number_frames * self.duration
        buf.pts = buf.dts = int(timestamp)
        buf.offset = timestamp
        self.number_frames += 1
        retval = src.emit('push-buffer', buf) 

        print('pushed buffer, frame {}, duration {} ns, durations {} s'.format(self.number_frames, self.duration, self.duration / Gst.SECOND)) 

        if retval != Gst.FlowReturn.OK: 
          print(retval) 

  def do_create_element(self, url): 
    return Gst.parse_launch(self.launch_string) 

  def do_configure(self, rtsp_media): 
    self.number_frames = 0 
    appsrc = rtsp_media.get_element().get_child_by_name('source') 
    appsrc.connect('need-data', self.on_need_data) 


class GstServer(GstRtspServer.RTSPServer): 
  def __init__(self, **properties): 
    super(GstServer, self).__init__(**properties) 
    self.factory = SensorFactory() 
    self.factory.set_shared(True) 
    self.get_mount_points().add_factory("/test", self.factory) 
    self.attach(None) 


GObject.threads_init() 
Gst.init(None) 

server = GstServer() 

loop = GObject.MainLoop() 
loop.run()

Это решение генерирует сам сервер rtsp и передает его на него. Я могу открыть результирующий поток RTSP в VLC, но он продолжает отображать первый кадр и не обновляется с новыми кадрами. Кто-нибудь знает, почему?

Я ищу любое решение, которое позволило бы мне с низкой задержкой считывать кадры с сервера rtsp в формат opencv, манипулировать кадрами и выводить кадры на новый сервер rtsp (который мне также нужно создать). Решение не обязательно должно основываться на gstreamer, если существует что-то лучшее.

Я использую Ubuntu 16.04 с python2.7 и opencv 3.4.1

...