Как я могу использовать встроенную функцию оптического потока opencv для отслеживания своих собственных особенностей? - PullRequest
Новая
       49

Как я могу использовать встроенную функцию оптического потока opencv для отслеживания своих собственных особенностей?

0 голосов
/ 24 октября 2018

Я проверил официальную демонстрацию opencv по функции calcOpticalFlowPyrLK (), но в ней говорилось только об ее использовании для отслеживания точек, сгенерированных функцией cv.goodFeaturesToTrack ().Теперь у меня есть домашнее задание по использованию оптического потока для отслеживания характерных точек человеческого лица, обнаруженных с помощью dlib.Я просто передаю массив точек этой функции, но он просто не может работать.Вот мой код Python: 

import numpy as np
import cv2 as cv
import dlib
import math
predictor_path = "./resources/shape_predictor_68_face_landmarks.dat"
detector = dlib.get_frontal_face_detector()
predictor = dlib.shape_predictor(predictor_path)

def get_cam_frame(cam):
    ret, img = cam.read()
    img = cv.resize(img, (800, 450))
    return img

def get_landmarks(img):
    rects = detector(img, 1)
    if len(rects) == 0:
        return -1
    print (np.array([[p.x, p.y] for p in predictor(img, rects[0]).parts()]))
    return np.array([[p.x, p.y] for p in predictor(img, rects[0]).parts()])

cap = cv.VideoCapture(0)
# params for ShiTomasi corner detection
feature_params = dict( maxCorners = 100,
                       qualityLevel = 0.3,
                       minDistance = 7,
                       blockSize = 7 )
# Parameters for lucas kanade optical flow
lk_params = dict( winSize  = (21,21),
                  maxLevel = 3,
                  criteria = (cv.TERM_CRITERIA_EPS | cv.TERM_CRITERIA_COUNT, 10, 0.03))
# Create some random colors
color = np.random.randint(0,255,(100,3))
# Take first frame and find corners in it
rets,old_frame = cap.read()
old_gray = cv.cvtColor(old_frame, cv.COLOR_BGR2GRAY)
#p0 = cv.goodFeaturesToTrack(old_gray, mask = None, **feature_params)
#print(type(p0))
#print(p0)
p0 = get_landmarks(old_frame)
p0 = p0.reshape(-1,1,2)
print(type(p0))
print(p0)
# Create a mask image for drawing purposes
mask = np.zeros_like(old_frame)
while(1):
    ret,frame = cap.read()
    frame_gray = cv.cvtColor(frame, cv.COLOR_BGR2GRAY)
    # calculate optical flow
    p1, st, err = cv.calcOpticalFlowPyrLK(old_gray, frame_gray, p0, None, **lk_params)
    # Select good points
    good_new = p1[st==1]
    good_old = p0[st==1]
    # draw the tracks
    for i,(new,old) in enumerate(zip(good_new,good_old)):
        a,b = new.ravel()
        c,d = old.ravel()
        mask = cv.line(mask, (a,b),(c,d), color[i].tolist(), 2)
        frame = cv.circle(frame,(a,b),5,color[i].tolist(),-1)
    img = cv.add(frame,mask)
    cv.imshow('frame',img)
    k = cv.waitKey(30) & 0xff
    if k == 27:
        break
    # Now update the previous frame and previous points
    old_gray = frame_gray.copy()
    p0 = good_new.reshape(-1,1,2)
cv.destroyAllWindows()
cap.release()

И когда я запускаю код, ошибка выглядит следующим образом: сообщение об ошибке

Я новичок в opencv, поэтому я действительнонужна помощь.Надеюсь, кто-нибудь может мне помочь, спасибо, ребята!

...