Raspberry Pi 3, увеличивающий FPS с камерой на 720p USB - PullRequest
Новая
       17

Raspberry Pi 3, увеличивающий FPS с камерой на 720p USB

1 голос
/ 09 апреля 2019

Я пишу некоторый код на python, чтобы открыть USB-камеру и взять кадр с нее.Я использую свой код для потока HTTP.Для кодирования JPEG я использую библиотеку libturbojpeg.Для этого я использую 64-битную ОС.

product: Raspberry Pi 3 Model B Rev 1.2
serial: 00000000f9307746
width: 64 bits
capabilities: smp cp15_barrier setend swp

Я провожу тест с разными разрешениями.

Resolution   FPS   Time for encode
640 x 480     ~35       ~0.01
1280 x 720    ~17       ~0.028

И это мой код 

import time
import os
import re
import uvc
from turbojpeg import TurboJPEG, TJPF_GRAY, TJSAMP_GRAY
jpeg = TurboJPEG("/opt/libjpeg-turbo/lib64/libturbojpeg.so")
camera = None

import numpy as np
from threading import Thread

class ProcessJPG(Thread):

    def __init__(self, data):
        self.jpeg_data = None
        self.data = data
        super(ProcessJPG, self).__init__()

    def run(self):
        self.jpeg_data = jpeg.encode((self.data))

    def get_frame(self):
        self.frame = camera.get_frame()

global camera
dev_list = uvc.device_list()
print("devices: ", dev_list)
camera = uvc.Capture(dev_list[1]['uid'])
camera.frame_size = camera.frame_sizes[2] // set 1280 x 720
camera.frame_rate = camera.frame_rates[0] // set 30 fps

class GetFrame(Thread):
    def __init__(self):
        self.frame = None
        super(GetFrame, self).__init__()
    def run(self):
        self.frame = camera.get_frame()

_fps = -1
count_to_fps = 0
_real_fps = 0
from time import time
_real_fps = ""
cfps_time = time()

while True:
    if camera:
        t = GetFrame()
        t.start()
        t.join()
        img = t.frame
        timestamp = img.timestamp
        img = img.img
        ret = 1
    t_start = time()
    t = ProcessJPG(img)
    t.start()
    t.join()
    jpg = t.jpeg_data
    t_end = time()
    print(t_end - t_start)
    count_to_fps += 1
    if count_to_fps >= _fps:
        t_to_fps = time() - cfps_time
        _real_fps = 1.0 / t_to_fps
        cfps_time = time()
        count_to_fps = 0
    print("FPS, ", _real_fps)

Строка кодирования: jpeg.encode((self.data))

Мой вопрос: возможно увеличить FPS дляРазрешение 1280 x 720 (например, 30 кадров в секунду) или мне следует использовать более мощное устройство?Когда я смотрю на htop во время вычислений, процессор не используется на 100%.

РЕДАКТИРОВАТЬ: Форматы камеры: 

[video4linux2,v4l2 @ 0xa705c0] Raw       :     yuyv422 :           YUYV 4:2:2 : 640x480 1280x720 960x544 800x448 640x360 424x240 352x288 320x240 800x600 176x144 160x120 1280x800
[video4linux2,v4l2 @ 0xa705c0] Compressed:       mjpeg :          Motion-JPEG : 640x480 1280x720 960x544 800x448 640x360 800x600 416x240 352x288 176x144 320x240 160x120

enter image description here

1 Ответ

1 голос
/ 24 апреля 2019

Это возможно, и вам не нужно более мощное оборудование.

Из Пьювц README.md

* Capture instance will always grab mjpeg conpressed frames from cameras.

Когда ваш код обращается к свойству .img, это вызывает jpeg2yuv (см. здесь и здесь ). затем Вы перекодируете с jpeg_encode(). Попробуйте использовать frame.jpeg_buffer после захват и не трогай .img вообще.

Я посмотрел на pyuvc на RPi2 с Logitech C310 и сделал упрощенный пример 

import uvc
import time

def main():
    dev_list = uvc.device_list()
    cap = uvc.Capture(dev_list[0]["uid"])
    cap.frame_mode = (1280, 720, 30)
    tlast = time.time()
    for x in range(100):
        frame = cap.get_frame_robust()
        jpeg = frame.jpeg_buffer
        print("%s (%d bytes)" % (type(jpeg), len(jpeg)))
        #img = frame.img
        tnow = time.time()
        print("%.3f" % (tnow - tlast))
        tlast = tnow
    cap = None

main()

Я получаю ~ 0,033 с на кадр, что дает ~ 30 к / с при ~ 8% ЦП. Если я раскомментирую строку #img = frame.img, она поднимется до ~ 0,054 с / кадр или ~ 18 к / с при 99% ЦП (время декодирования ограничивает скорость захвата).

...