Проблема времени обучения Tensorflow с моим кодом - PullRequest
Новая
       56

Проблема времени обучения Tensorflow с моим кодом

2 голосов
/ 15 апреля 2020

Цель: классифицировать, является ли клетка паразитирующей c (недооцененной) или неинфицированной

Набор данных из Kaggle: https://www.kaggle.com/iarunava/cell-images-for-detecting-malaria

Импорт: 

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
import os

from sklearn.metrics import classification_report, confusion_matrix

from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Dense, Dropout, MaxPool2D, Conv2D, Flatten
from tensorflow.keras.callbacks import EarlyStopping
from tensorflow.keras.preprocessing.image import ImageDataGenerator

from matplotlib.image import imread

Пути: 

file_path = "/whatever-you-store-the-data/cell_images/"
test_path = "/whatever-you-store-the-data/cell_images/test/"
train_path = "/whatever-you-store-the-data/cell_images/train/"

Средний размер изображения (130, 130, 3) # (ширина, высота, colour_channels): 

image_shape = (130, 130, 3)

ImageDataGenerator: 

image_gen = ImageDataGenerator(rotation_range=20,
                           width_shift_range=0.1,
                           height_shift_range=0.1,
                           shear_range=0.1,
                           zoom_range=0.1,
                           horizontal_flip=True,
                           vertical_flip=True,
                           fill_mode="nearest")

Модель: 

model = Sequential()

model.add(Conv2D(32, (3, 3), input_shape=image_shape, activation="relu"))
model.add(MaxPool2D((2, 2)))
model.add(Dropout(0.5))

model.add(Conv2D(64, (3, 3), activation="relu"))
model.add(MaxPool2D((2, 2)))
model.add(Dropout(0.2))

model.add(Conv2D(64, (3, 3), activation="relu"))
model.add(MaxPool2D((2, 2)))
model.add(Dropout(0.2))

model.add(Flatten())

model.add(Dense(128, activation="relu"))
model.add(Dropout(0.5))

model.add(Dense(1, activation="sigmoid"))

model.compile(loss="binary_crossentropy",
              optimizer="adam",
              metrics=["accuracy"])

EarlyStopping Callback: 

early_stop = EarlyStopping(monitor="val_loss",
                           patience=5,
                           verbose=1,
                           mode="min")

Генераторы: 

train_image_gen = image_gen.flow_from_directory(train_path,
                                                target_size=image_shape[:2],
                                                color_mode="rgb",
                                                batch_size=32,
                                                class_mode="binary")
test_image_gen = image_gen.flow_from_directory(test_path,
                                                target_size=image_shape[:2],
                                                color_mode="rgb",
                                                batch_size=32,
                                                class_mode="binary",
                                               shuffle=False)

Подгонка модели : 

results = model.fit_generator(train_image_gen,
                              epochs=20,
                              validation_data=test_image_gen,
                              callbacks=[early_stop])

Вот вывод: 

Epoch 1/20
390/Unknown - 9339s 24s/step - loss: 4.4232 - accuracy: 0.5135

Прежде всего, почему он имеет вид n / Unknown, более важно, почему он занимает 9339 с. Это не проблема, проблема заключается в том, что примерное время обучения продолжает увеличиваться, оно начинается где-то около 240 с, а затем увеличивается со временем, пока в итоге не достигло 9339 с. Что здесь происходит и как мне это решить?

...