Получать видеопоток webRTC в реальном времени с помощью python opencv

Question

Привет,
Я создаю конвейер, в котором мне нужно получить доступ к данным с камеры и выполнить некоторые алгоритмы opencv. Я могу отправить видео с источника с помощью webRTC. https://lostechies.com/derickbailey/2014/03/13/build-a-local-webcam-with-webrtc-in-less-than-20-lines/

Но мне нужна помощь, как получить видеопоток в Python и выполнить обработку. Как я могу получить доступ к видеопотоку из потока webRTC в бэкэнд Python?

Это исполняемый код JavaScript.

(function(){
  var mediaOptions = { audio: false, video: true };

  if (!navigator.getUserMedia) {
      navigator.getUserMedia = navigator.getUserMedia || navigator.webkitGetUserMedia || navigator.mozGetUserMedia || navigator.msGetUserMedia;
  }

  if (!navigator.getUserMedia){
    return alert('getUserMedia not supported in this browser.');
  }

  navigator.getUserMedia(mediaOptions, success, function(e) {
    console.log(e);
  });

  function success(stream){
    var video = document.querySelector("#player");
    video.src = window.URL.createObjectURL(stream);
  }
})();

Мне нужна помощь в получении видео из этого сценария Java с использованием Python.

Answer 1

Я автор aiortc. Вы проверили пример server, поскольку он иллюстрирует, как обрабатывать видео с использованием OpenCV?

https://github.com/jlaine/aiortc/tree/master/examples/server

Answer 2

https://webrtchacks.com/webrtc-cv-tensorflow/ показывает довольно углубленное руководство по выполнению WebRTC + tenorflow. Вы, вероятно, можете легко поменять тензор потока на opencv. Это захватывает кадр с веб-камеры и время от времени отправляет его по HTTP. Если вы хотите работать больше в реальном времени, вам придется использовать WebRTC на сервере, например, используя https://github.com/jlaine/aiortc