Массивы функций Dlib в качестве входных данных для CNN и прогнозирования - PullRequest
Новая
       43

Массивы функций Dlib в качестве входных данных для CNN и прогнозирования

0 голосов
/ 03 июня 2019

Я пытаюсь создать приложение для распознавания лиц, используя CNN и dlib Feature Extractor. То, что я хочу сделать, это извлечь элементы из группы фотографий одного и того же человека, а затем отправить массивы на мой CNN, который произведет классификатор 2 классов для этого человека.

Как изменить его так, чтобы он принимал массивы объектов dlib, как будет выглядеть метод прогнозирования и как должны форматироваться данные?

На данный момент моя сеть настроена на прием изображений в качестве входных данных, но я не уверен, как изменить ее для работы с массивами функций. 

model = Sequential()
model.add(Conv2D(32, (3, 3), input_shape=input_shape))
model.add(Activation('relu'))
model.add(MaxPooling2D(pool_size=(2, 2)))

model.add(Conv2D(32, (3, 3)))
model.add(Activation('relu'))
model.add(MaxPooling2D(pool_size=(2, 2)))

model.add(Conv2D(64, (3, 3)))
model.add(Activation('relu'))
model.add(MaxPooling2D(pool_size=(2, 2)))

model.add(Flatten())
model.add(Dense(64))
model.add(Activation('relu'))
model.add(Dropout(0.5))
model.add(Dense(1))
model.add(Activation('sigmoid'))

model.compile(loss='binary_crossentropy', optimizer='rmsprop', metrics=['accuracy'])

train_datagen = ImageDataGenerator(rescale=1. / 255, shear_range=0.2, zoom_range=0.2, horizontal_flip=True)

test_datagen = ImageDataGenerator(rescale=1. / 255)

train_generator = train_datagen.flow_from_directory(train_data_dir, target_size=(img_width, img_height), batch_size=batch_size, class_mode='binary', shuffle=True)

print(train_generator.class_indices)

validation_generator = test_datagen.flow_from_directory(validation_data_dir, target_size=(img_width, img_height), batch_size=batch_size, class_mode='binary', shuffle=True)

print(validation_generator.class_indices)

model.fit_generator(train_generator, shuffle=True, steps_per_epoch=train_samples // batch_size, epochs=epochs, callbacks=[tensorboard], validation_data=validation_generator, validation_steps=validation_samples // batch_size)

model.save('Models/model.h5')

То, как я хочу, чтобы это работало, - это использование программы, которая извлекает черты каждого лица на каждой фотографии в файл, который моя CNN может использовать для создания файла классификатора да / нет, который позже можно будет использовать для предсказаний.

1 Ответ

1 голос
/ 04 июня 2019

Это первая попытка, которая, безусловно, требует больше инженерных разработок.Вы можете рассматривать первые сверточные слои CNN как слои «выделения объектов», а последние полностью связанные слои как слои «классификации». 

import tensorflow as tf
import tensorflow.keras.layers as ll

i1 = ll.Input(input_shape1) #the images
x = ll.Conv2D(32, (3, 3),activation='relu')(i1)
x = ll.MaxPooling2D(pool_size=(2, 2))(x)
x = ll.Conv2D(32, (3, 3),activation='relu')(x)
x = ll.MaxPooling2D(pool_size=(2, 2))(x)
x = ll.Conv2D(64, (3, 3),activation='relu')(x)
x = ll.MaxPooling2D(pool_size=(2, 2))(x)

i2 = ll.Input(input_shape2) #the feature manually extracted

y = ll.Concatenate([x,i2])
y = ll.Flatten()(y)
y = ll.Dense(64,activation='relu')(y)
y = ll.Dropout(0.5)(y)
y = ll.Dense(1, activation='sigmoid')(y)

model = tf.keras.models.Model(inputs = [i1,i2], outputs = y)

Затем скомпилируйте и установите как обычно, но вам понадобится генератор для обслуживания [i1,i2] и замены ImageDataGenerator.Если вы хотите использовать только функции, а не изображение, тогда архитектура будет проще: забудьте о сверточной части и попробуйте плотную сеть.

...