Моя модель предсказывает одно и то же лицо, как я могу это исправить? - PullRequest
4 голосов
/ 27 мая 2020

Я обучил модель с помощью CNN и использовал ее с opencv для распознавания лиц в реальном времени на веб-камере. У меня были некоторые проблемы с моделью, например, я получил 100% точность, когда она тренировалась, и я знал, что что-то пошло не так, и другая проблема в том, что когда она прогнозирует на изображениях с веб-камеры, она дает мне только одну метку независимо от того, чье лицо я показываю. : он дает ярлык «я» независимо от того, показываю ли я свое лицо или лицо другого человека.

Обратите внимание, у меня только 250 изображений в наборе данных: 200 изображений для обучения и 50 изображений для тестирования. Для каждого набора я разделил их на 2 класса: «me» и «not_me», где папка «me» содержит изображения моего лица, а папка «not_me» - изображения лиц разных людей.

Данных недостаточно для модели или чего-то еще?

Пожалуйста, помогите, чтобы я мог извлечь уроки из своей ошибки. Заранее спасибо.

myface_model.py

# Importing the Keras libraries and packages
from keras.models import Sequential
from keras.layers import Conv2D
from keras.layers import MaxPooling2D
from keras.layers import Flatten
from keras.layers import Dense
from keras.preprocessing.image import ImageDataGenerator

# Initialising the CNN
classifier = Sequential()

# Step 1 - Convolution
classifier.add(Conv2D(32, (3, 3), input_shape = (64, 64, 3), activation = 'relu'))

# Step 2 - Pooling
classifier.add(MaxPooling2D(pool_size = (2, 2)))

# Adding a second convolutional layer
classifier.add(Conv2D(32, (3, 3), activation = 'relu'))
classifier.add(MaxPooling2D(pool_size = (2, 2)))

# Step 3 - Flattening
classifier.add(Flatten())

# Step 4 - Full connection
classifier.add(Dense(units = 128, activation = 'relu'))

# output layer
classifier.add(Dense(units = 1, activation = 'sigmoid'))

# Compiling the CNN
classifier.compile(optimizer = 'adam', loss = 'binary_crossentropy', metrics = ['accuracy'])

# Part 2 - Fitting the CNN to the images
train_datagen = ImageDataGenerator(rescale = 1./255,
                                   shear_range = 0.2,
                                   zoom_range = 0.2,
                                   horizontal_flip = True)

test_datagen = ImageDataGenerator(rescale = 1./255)

training_set = train_datagen.flow_from_directory('dataset/training_set',
                                                 target_size = (64, 64),
                                                 batch_size = 32,
                                                 class_mode = 'binary')

test_set = test_datagen.flow_from_directory('dataset/test_set',
                                            target_size = (64, 64),
                                            batch_size = 32,
                                            class_mode = 'binary')

classifier.fit_generator(training_set,
                         steps_per_epoch = 200,
                         epochs = 25,
                         validation_data = test_set,
                         validation_steps = 50)

#save model for later use
fer_json = classifier.to_json()
with open("fer.json", "w") as json_file:
    json_file.write(fer_json)
classifier.save_weights("fer.h5")

myface_detector.py

import os
import cv2
import numpy as np
from keras.models import model_from_json
from keras.preprocessing import image

#load model
classifier = model_from_json(open("fer.json", "r").read())
#load weights
classifier.load_weights('fer.h5')

face_haar_cascade = cv2.CascadeClassifier('haarcascade_frontalface_default.xml')

cap=cv2.VideoCapture(0)

while True:
    # captures frame and returns boolean value and captured image
    ret,test_img=cap.read()

    if not ret:
        continue

    convt_img= cv2.cvtColor(test_img, cv2.COLOR_BGR2RGB)

    faces_detected = face_haar_cascade.detectMultiScale(convt_img, 1.3, 5)

    for (x,y,w,h) in faces_detected:
        cv2.rectangle(test_img, (x,y), (x+w,y+h), (255,0,0), thickness=4)
        roi = convt_img[y:y+h,x:x+w]
        roi = cv2.resize(roi,(64,64))
        roi = roi.astype("float") / 255.0
        img_pixels = image.img_to_array(roi)
        img_pixels = np.expand_dims(img_pixels, axis = 0)

        predictions = classifier.predict(img_pixels)

        #find max indexed array
        max_index = np.argmax(predictions[0])

        myFace = ('me', 'not_me')

        predicted_myFace = myFace[max_index]

        cv2.putText(test_img, predicted_myFace, (int(x), int(y)), cv2.FONT_HERSHEY_SIMPLEX, 1, (0,0,255), 2)

    cv2.imshow('my face predictions',test_img)

    if cv2.waitKey(10) == ord('q'):#wait until 'q' key is pressed
        break

cap.release()
cv2.destroyAllWindows()

1 Ответ

1 голос
/ 27 мая 2020

Двоичные классы

Итак, суть проблемы заключается в том, как мы выбираем для представления нашей модели. В частности, в этих строках:

classifier.add(Dense(units = 1, activation = 'sigmoid'))

и

training_set = train_datagen.flow_from_directory('dataset/training_set',
                                                 target_size = (64, 64),
                                                 batch_size = 32,
                                                 class_mode = 'binary') #<--------

test_set = test_datagen.flow_from_directory('dataset/test_set',
                                            target_size = (64, 64),
                                            batch_size = 32,
                                            class_mode = 'binary') #<-------------

Здесь мы решили предоставить нашему CNN один выходной узел и иметь метки двоичных классов. Это означает, что возвращаемое значение метода predict будет выглядеть примерно так [[0.12956393]]. Это значение представляет собой прогнозируемую вероятность того, что тестовое изображение имеет метку класса 1 (в данном случае метку not_me). Чтобы извлечь метку класса, мы можем просто сделать:

predictions = classifier.predict(img_pixels)
predicted_label = predictions[0][0] > 0.5
myFace = ('me', 'not_me')
predicted_myFace = myFace[predicted_label]

Однако, чтобы следовать намерению вашего исходного кода, выбрать метку класса на основе самых высоких вероятностей и позволить нам легко расширить это приложение до прогнозировать больше классов, если необходимо, нам нужно лишь внести незначительные изменения в модель, чтобы использовать метки категориальных классов.

Категориальные классы

Вместо использования двоичных меток мы можем используйте категориальные ярлыки. Это позволит нам иметь метки классов от 0 до n. В этом случае нам просто нужно внести следующие изменения:

classifier.add(Dense(units = 2, activation = 'sigmoid')) # note that units = 2 now

и

training_set = train_datagen.flow_from_directory(
    'dataset/training_set',
    target_size = (64, 64),
    batch_size = 32,
    class_mode = 'categorical') # note the new class mode

test_set = test_datagen.flow_from_directory(
    'dataset/test_set',
    target_size = (64, 64),
    batch_size = 32,
    class_mode = 'categorical') # note the new class mode

, предоставив нашему CNN два выходных узла и изменив режим класса с двоичного на категориальный, наш CNN теперь может выводить прогнозируемую вероятность для каждой метки класса. т.е. возвращаемое значение метода predict будет выглядеть примерно так:

[[0.012211  0.9917401]]

, что означает, что ваш код в myface_detector.py будет работать как есть.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...