Обнаружение лиц в видео, обрезка их и сохранение всех кадров в одном порядке - opencv python

Question

Я читаю видеофайл с разделенного экрана, записанный в режиме увеличения. Это видео теперь имеет 2 лица из 2 потоков. В будущем он должен работать с таким количеством потоков, сколько необходимо. Мне удалось распознать лица, обрезать их и сохранить каждое как отдельную пи c. Однако я пытаюсь нумеровать лицо в каждом кадре и надеялся, что человек 0 останется 0 во всех кадрах, однако он меняется от кадра к кадру. в некоторых случаях человек слева равен 0, а другой - 1, а иногда наоборот. Как вы увидите, мне просто нужно 1 кадр / с.

Мой код выглядит следующим образом

import os
import cv2
import numpy as np
face_cascade = cv2.CascadeClassifier('haarcascade_frontalface_default.xml')


vidcap = cv2.VideoCapture('facing the screen.mp4')
success, image = vidcap.read()
count = 0
sec = 0
try:
    if not os.path.exists('all_frames'):
        os.makedirs('all_frames')
except OSError:
    print('Error: Creating directory of data')
while success:
    time = round(vidcap.get(cv2.CAP_PROP_POS_MSEC),0)
    fps = round(vidcap.get(cv2.CAP_PROP_FPS),0)-1
if count % fps < 1:
    gimg = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
    # gimg = np.array(gimg, dtype='uint8')
    faces = face_cascade.detectMultiScale(image, scaleFactor=1.1, minNeighbors=5)
    f=0
    for (x, y, w, h) in faces:
        crop_face = gimg[y-10:y + h+10, x-10:x + w +10]

        cv2.imwrite("./all_frames/frame%dPerson%d.jpg" % (count,f), crop_face)  # save frame as JPEG file
        # cv2.imshow("cropped", crop_face)
        print('Read a new frame: ', count, f, success, time, fps)
        f += 1


success, image = vidcap.read()

count += 1


vidcap.release()
cv2.destroyAllWindows()

Есть предложения? Понятна ли моя проблема с нумерацией одного и того же человека с одинаковым номером?

Answer 1

Так как возвращаемый классификатором результат имеет регулярную форму x, y, w, h, я взял кадр с большинством распознанных граней, сохранил координаты в качестве базовой ссылки, и для каждого лица, распознанного позже, я использовал измеренное евклидово расстояние его координат x, y от координат x, y базовой грани. Упорядоченный номер лица, сохраненный в базовой ссылке, используется для хранения и ссылки на новое распознанное лицо. Обратите внимание, что в соответствии с текущим кодом первые 30 секунд используются только для определения максимально распознанных лиц. Таким образом, остальная часть кода продолжается с se c 31 видео. (начните читать с самого начала или запишите эту часть кода в основной процесс l oop)

Это решение не для того, чтобы предоставить эффективный код, как я буду работать над этим позже, а скорее для обеспечьте логику c выполнения анализа на разных лицах в видео, увеличивая вероятность постоянного обращения к одному и тому же лицу на протяжении всего анализа видео.

import os
import cv2
import numpy as np
# import tensorflow as tf

def dist(x1,x2,y1,y2):
    return np.sqrt(((x2-x1)**2) - ((y2-y1)**2))

face_cascade = cv2.CascadeClassifier('haarcascade_frontalface_default.xml')


vidcap = cv2.VideoCapture('4pmeet.mp4')
success, image = vidcap.read()
count = 0
sec = 0
try:
    if not os.path.exists('all_frames'):
        os.makedirs('all_frames')
except OSError:
    print('Error: Creating directory of data')

gimg = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
facesBase = face_cascade.detectMultiScale(image, scaleFactor=1.1, minNeighbors=5)
fnum = 0

min_dist = 100000.0
numf = 0
fps = round(vidcap.get(cv2.CAP_PROP_FPS), 0) - 1
ffc = 0 #count for max faces loop
result_array = np.empty((0, 5))
result_array1 = np.empty((0, 5))
while ffc / fps < 10: #loop to find max faces in the first 30 seconds
    gimg = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
    # gimg = np.array(gimg, dtype='uint8')
    faces = face_cascade.detectMultiScale(image, scaleFactor=1.1, minNeighbors=5)

    if len(faces) > numf:
        numf = len(faces)
        facesBase = faces

    success, image = vidcap.read()

    ffc += 1

fb = []
for fa in facesBase:
    print(fa)


while success:
    if count % fps < 1:
        time = round(vidcap.get(cv2.CAP_PROP_POS_MSEC),0)

        for (x, y, w, h) in faces:
            print(faces)
            print(len(faces))
            crop_face = gimg[y-10:y + h+10, x-10:x + w +10]
            distance = 1000000
            for num, face in enumerate(facesBase, start=0):
                d = dist(x, facesBase[num][0], y, facesBase[num][1])
                if d < distance:
                    f = num
                    distance = d

            cv2.imwrite("./all_frames/frame%dPerson%d.jpg" % (count,f), crop_face)  # save frame as JPEG file
            # cv2.imshow("cropped", crop_face)
            print('Read a new frame: ', count, f, success, time, fps)
            # f += 1

            # if len(facesBase) < len(faces):
            #     facesBase = faces

    success, image = vidcap.read()

    count += 1


vidcap.release()
cv2.destroyAllWindows()