OpenCV неправильно определяет глаза - PullRequest
Новая
       50

OpenCV неправильно определяет глаза

0 голосов
/ 09 ноября 2019

Мне это нужно, чтобы обнаружить глаза (отдельно, как открытые, так и закрытые), обрезать их и сохранить их как изображения. Это работает, но не на каждой фотографии.

Я перепробовал все, что мог придумать. Я пробовал разные значения для scaleFactor и minNeighbors, а также пытался добавить минимальный и максимальный размер для обнаруженных глаз (без особой разницы).

Я все еще получаю проблемы. Иногда он обнаруживает более 2 глаз, иногда только 1. Иногда он принимает ноздри за глаза: D. Особенно, если глаза закрыты, ошибки очень часто.

Что я могу сделать, чтобы улучшить точность? Это очень важно для остальной части моей программы. 

  face_cascade = cv2.CascadeClassifier(cv2.data.haarcascades + 'haarcascade_frontalface_default.xml')
  eyes_cascade = cv2.CascadeClassifier(cv2.data.haarcascades + 'haarcascade_eye.xml')

  faces_detected = face_cascade.detectMultiScale(img, scaleFactor=1.1, minNeighbors=5)

  (x, y, w, h) = faces_detected[0]
  cv2.rectangle(img, (x, y), (x + w, y + h), (0, 255, 0), 1);

  eyes = eyes_cascade.detectMultiScale(img[y:y + h, x:x + w], scaleFactor=1.1, minNeighbors=5)
  count = 1
  for (ex, ey, ew, eh) in eyes:
      cv2.rectangle(img, (x + ex, y + ey), (x + ex + ew, y + ey + eh), (255, 255, 255), 1)
      crop_img = img[y + ey:y + ey + eh, x + ex:x + ex + ew]
      s1 = 'Images/{}.jpg'.format(count)
      count = count + 1
      cv2.imwrite(s1, crop_img)

1 Ответ

0 голосов
/ 11 ноября 2019

Что касается распознавания лиц, мой подход будет dlib ( Python API ). Он более сложный и медленный, но приводит к гораздо более качественным результатам.

Шаг 1 преобразуется из OpenCV в dlib: 

img = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)

Далее вы можете использовать dlib детектор лиц для обнаружения лиц (второй аргумент означает увеличение числа в 1 раз): 

detector = dlib.get_frontal_face_detector()
detections = detector(img, 1)

Затем найдите ориентиры для лица, используя предварительно обученный 68-точечный предиктор : 

sp = dlib.shape_predictor("shape_predictor_68_face_landmarks.dat")
faces = dlib.full_object_detections()
for det in detections:
    faces.append(sp(img, det))

Примечание: отсюда вы можете получить фишки для лица dlib.get_face_chip(img, faces[0])

Теперь вы можете получить ограничивающие рамки и расположение глаз: 

bb = faces[0].rect

right_eye = [faces[0].part(i) for i in range(36, 42)]
left_eye = [faces[0].part(i) for i in range(42, 48)]

Вот все сопоставленияв соответствии с pyimagesearch : 

mouth: 48 - 68
right_eyebrow: 17 - 22
left_eyebrow: 22 - 27
right_eye: 36 - 42
left_eye: 42 - 48
nose: 27 - 35
jaw: 0 - 17

Вот результаты и код, который я собрал: Example 1 Example 2

import dlib
import cv2

# Load image
img = cv2.imread("monalisa.jpg")

# Convert to dlib
img = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)

# dlib face detection
detector = dlib.get_frontal_face_detector()
detections = detector(img, 1)

# Find landmarks
sp = dlib.shape_predictor("shape_predictor_68_face_landmarks.dat")
faces = dlib.full_object_detections()
for det in detections:
    faces.append(sp(img, det))

# Bounding box and eyes
bb = [i.rect for i in faces]
bb = [((i.left(), i.top()),
       (i.right(), i.bottom())) for i in bb]                            # Convert out of dlib format

right_eyes = [[face.part(i) for i in range(36, 42)] for face in faces]
right_eyes = [[(i.x, i.y) for i in eye] for eye in right_eyes]          # Convert out of dlib format

left_eyes = [[face.part(i) for i in range(42, 48)] for face in faces]
left_eyes = [[(i.x, i.y) for i in eye] for eye in left_eyes]            # Convert out of dlib format

# Display
imgd = cv2.cvtColor(img, cv2.COLOR_RGB2BGR)             # Convert back to OpenCV
for i in bb:
    cv2.rectangle(imgd, i[0], i[1], (255, 0, 0), 5)     # Bounding box

for eye in right_eyes:
    cv2.rectangle(imgd, (max(eye, key=lambda x: x[0])[0], max(eye, key=lambda x: x[1])[1]),
                        (min(eye, key=lambda x: x[0])[0], min(eye, key=lambda x: x[1])[1]),
                        (0, 0, 255), 5)
    for point in eye:
        cv2.circle(imgd, (point[0], point[1]), 2, (0, 255, 0), -1)

for eye in left_eyes:
    cv2.rectangle(imgd, (max(eye, key=lambda x: x[0])[0], max(eye, key=lambda x: x[1])[1]),
                        (min(eye, key=lambda x: x[0])[0], min(eye, key=lambda x: x[1])[1]),
                        (0, 255, 0), 5)
    for point in eye:
        cv2.circle(imgd, (point[0], point[1]), 2, (0, 0, 255), -1)

cv2.imwrite("output.jpg", imgd)

cv2.imshow("output", imgd)
cv2.waitKey(0)
...