Как сохранить более высокий FPS при увеличении изображения с помощью cv2.resize () - PullRequest
Новая
       12

Как сохранить более высокий FPS при увеличении изображения с помощью cv2.resize ()

2 голосов
/ 17 апреля 2019

Я использую простой код для измерения FPS моей прямой трансляции (с помощью веб-камеры).FPS уменьшается, когда я изменяю размер изображения в больший кадр.Есть ли способ сохранить FPS при увеличении кадра (через функцию изменения размера) одновременно.Или это неизбежный компромисс?

Это код для распознавания лиц с использованием библиотеки face_recognition.FPS (кадров в секунду) замедляется, когда я изменяю размер до большего размера. Есть ли способ сохранить более высокий FPS при увеличении изображения, используя cv2.resize()? 

import face_recognition
import cv2

video_capture = cv2.VideoCapture(0)
#video_capture.set(cv2.CAP_PROP_FPS, 30)
# Load a sample picture and learn how to recognize it.
obama_image = face_recognition.load_image_file("osama LinkedIN.jpg")

obama_face_encoding = face_recognition.face_encodings(obama_image)[0]


# Load a second sample picture and learn how to recognize it.
imran_shafqat_image = face_recognition.load_image_file("haris intern3.jpg")
imran_shafqat_face_encoding = face_recognition.face_encodings(imran_shafqat_image)[0]


# Create arrays of known face encodings and their names
known_face_encodings = [
    obama_face_encoding,
    imran_shafqat_face_encoding,
   # obama_face_encoding2
   # biden_face_encoding
]
known_face_names = [
    "Osama Naeem",
    "Imran Shafqat"
 #   "random guy2"
]

# Initialize some variables
face_locations = []
face_encodings = []
face_names = []
process_this_frame = True
fxx = 1.5
fyy = 1.5
while True:
    # Grab a single frame of video
    ret, frame = video_capture.read()

    # Resize frame of video to 1/4 size for faster face recognition processing
    small_frame = cv2.resize(frame, (0, 0), fx=fxx, fy=fyy)

    # Convert the image from BGR color (which OpenCV uses) to RGB color (which face_recognition uses)
    rgb_small_frame = small_frame[:, :, ::-1]
    #rgb_small_frame = frame[:, :, ::-1]
    # Only process every other frame of video to save time
    if process_this_frame:
        # Find all the faces and face encodings in the current frame of video
        face_locations = face_recognition.face_locations(rgb_small_frame)
        face_encodings = face_recognition.face_encodings(rgb_small_frame, face_locations)

        face_names = []
        for face_encoding in face_encodings:
            # See if the face is a match for the known face(s)
            matches = face_recognition.compare_faces(known_face_encodings, face_encoding)
            print ("match = ", matches)
            name = "Unknown"

            # If a match was found in known_face_encodings, just use the first one.
            if True in matches:
                first_match_index = matches.index(True)
                name = known_face_names[first_match_index]

            face_names.append(name)

    process_this_frame = not process_this_frame


    # Display the results
    for (top, right, bottom, left), name in zip(face_locations, face_names):
        # Scale back up face locations since the frame we detected in was scaled to 1/4 size
        top *= (1/fxx)
        right *= (1/fxx)
        bottom *= (1/fyy)
        left *= (1/fyy)

        # Draw a box around the face
        cv2.rectangle(frame, (round(left), round(top)), (round(right), round(bottom)), (0, 0, 255), 2)

        # Draw a label with a name below the face

        #cv2.rectangle(frame, (round(left) - 35, round(bottom) - 40), (round(right), round(bottom)), (0, 0, 255), cv2.FILLED)
        font = cv2.FONT_HERSHEY_DUPLEX
        cv2.putText(frame, name, (round(left) + 6, round(bottom) - 6), font, 0.5, (255, 255, 255), 1)

    # Display the resulting image
    cv2.imshow('Video', frame)

    # Hit 'q' on the keyboard to quit!
    if cv2.waitKey(1) & 0xFF == ord('q'):
        break

# Release handle to the webcam
video_capture.release()
cv2.destroyAllWindows()

Код работает нормально, но я хочу поддерживать FPS с той же скоростьюкогда я увеличу его до большего размера.

1 Ответ

0 голосов
/ 20 апреля 2019

Когда вы увеличиваете изображение с помощью cv2.resize(), вы создаете увеличенное изображение, которое увеличивает время обработки на кадр. По сути, ваша программа должна выполнить дополнительную работу для обработки большего количества пикселей. Однако возможное решение, которое позволит вам увеличить ваш FPS, может состоять в использовании многопоточности . Этот метод позволит вам увеличить FPS за счет уменьшения задержки ввода / вывода, а не уменьшать количество времени, необходимое для обработки каждого измененного размера кадра. Идея состоит в том, чтобы разделить рамки считывания в отдельный поток, пока вы выполняете обработку в основном потоке. Вот виджет, показывающий, как разделять рамки чтения и обрабатывать их по отдельным потокам. 

from threading import Thread
import cv2, time

class VideoStreamWidget(object):
    def __init__(self, src=0):
        self.capture = cv2.VideoCapture(src)
        # Start the thread to read frames from the video stream
        self.thread = Thread(target=self.update, args=())
        self.thread.daemon = True
        self.thread.start()

    def update(self):
        # Read the next frame from the stream in a different thread
        while True:
            if self.capture.isOpened():
                (self.status, self.frame) = self.capture.read()
            time.sleep(.01)

    def show_frame(self):
        # Display frames in main program
        cv2.imshow('frame', self.frame)
        key = cv2.waitKey(1)
        if key == ord('q'):
            self.capture.release()
            cv2.destroyAllWindows()
            exit(1)

if __name__ == '__main__':
    video_stream_widget = VideoStreamWidget()
    while True:
        try:
            video_stream_widget.show_frame()
        except AttributeError:
            pass
...