Реализация перекрестной проверки для модели CNN - PullRequest
Новая
       6

Реализация перекрестной проверки для модели CNN

0 голосов
/ 17 февраля 2020

Я построил свою модель CNN для классификации изображений по 8 классам. Этапы обучения и тестирования были выполнены путем случайного разделения 80% для тренировочных изображений и 20% для тестовых изображений, где были вычислены результаты точности и F-меры.

Я заметил, что мои результаты точности обучения немного меньше, чем мои результаты тестирования (где я считаю, что точность обучения должна быть выше). Проведя много поисков, я обнаружил две причины:

1- Использование droput (0.5), которое влияет на результаты точности обучения

2-Набор данных тестирования прост для классификации .

Я планирую оценить мой классификатор CNN путем проведения перекрестной проверки 10-к. Однако, поскольку я все еще новичок в этой области, большинство ответов, которые я нашел, были для файлов .csv, где у меня есть файлы изображений.

Как я могу кодировать, чтобы получить перекрестную проверку?

Могу ли я получить путаницу для перекрестной проверки?

Мой код: 

from keras.models import Sequential
from keras.layers import Conv2D,Activation,MaxPooling2D,Dense,Flatten,Dropout
import numpy as np
from keras.preprocessing.image import ImageDataGenerator
from IPython.display import display
import matplotlib.pyplot as plt
from PIL import Image
from sklearn.metrics import classification_report, confusion_matrix
import keras
from keras.layers import BatchNormalization
from keras.optimizers import Adam

classifier = Sequential()
classifier.add(Conv2D(32,(3,3),input_shape=(200,200,3)))
classifier.add(Activation('relu'))
classifier.add(MaxPooling2D(pool_size =(2,2)))
classifier.add(Flatten())
classifier.add(Dense(128))
classifier.add(Activation('relu'))
classifier.add(Dropout(0.5))
classifier.add(Dense(8))
classifier.add(Activation('softmax'))
classifier.summary()
classifier.compile(optimizer =keras.optimizers.Adam(lr=0.001),
                   loss ='categorical_crossentropy',
                   metrics =['accuracy'])
train_datagen = ImageDataGenerator(rescale =1./255,
                                   shear_range =0.2,
                                   zoom_range = 0.2,
                                   horizontal_flip =True)
test_datagen = ImageDataGenerator(rescale = 1./255)

batchsize=10
training_set = train_datagen.flow_from_directory('/home/osboxes/Downloads/Downloads/Journal_Paper/Train/',
                                                target_size=(200,200),
                                                batch_size= batchsize,
                                                class_mode='categorical')

test_set = test_datagen.flow_from_directory('/home/osboxes/Downloads/Downloads/Journal_Paper/Test/',
                                           target_size = (200,200),
                                           batch_size = batchsize,
                       shuffle=False,
                                           class_mode ='categorical')
history=classifier.fit_generator(training_set,
                        steps_per_epoch = 3067 // batchsize,
                        epochs = 50,
                        validation_data =test_set,
                        validation_steps = 769 // batchsize)


Y_pred = classifier.predict_generator(test_set, steps= 769 // batchsize + 1)
y_pred = np.argmax(Y_pred, axis=1)
print('Confusion Matrix')
print(confusion_matrix(test_set.classes, y_pred))
print('Classification Report')
target_names = test_set.classes
class_labels = list(test_set.class_indices.keys()) 
target_names = ['coinhive','emotent','fareit', 'flystudio', 'gafgyt','gamarue', 'mirai','razy'] 
report = classification_report(test_set.classes, y_pred, target_names=class_labels)
print(report) 

# summarize history for accuracy
plt.plot(history.history['accuracy'])
plt.plot(history.history['val_accuracy'])
plt.title('model accuracy')
plt.ylabel('accuracy')
plt.xlabel('epoch')
plt.legend(['train', 'test'], loc='upper left')
plt.show()
# summarize history for loss
plt.plot(history.history['loss'])
plt.plot(history.history['val_loss'])
plt.title('model loss')
plt.ylabel('loss')
plt.xlabel('epoch')
plt.legend(['train', 'test'], loc='upper left')
plt.show()

1 Ответ

1 голос
/ 17 февраля 2020

Согласно Википедии

In k-fold cross-validation, the original sample is randomly partitioned into k equal sized subsamples. Of the k subsamples, a single subsample is retained as the validation data for testing the model, and the remaining k − 1 subsamples are used as training data.

Например, если вы хотите сделать 10-кратную перекрестную проверку, вы будете

  1. Разделение данных на десять случайных равных частей

  2. Обработка десяти отдельных моделей с девятью подмножествами данных,

  3. Проверка на другом подмножество данных для каждой модели
  4. Найти матрицу путаницы для каждой модели отдельно

Код для обучения и тестирования останется прежним, только ввод данных может быть выполнен с помощью любого пользовательского генераторы, или используя SKLearn's KFold .

...