Как сохранить историю тренировок на каждую эпоху в Керасе?

Question

Я не могу держать свой компьютер включенным весь день, и для этого мне нужно сохранять историю тренировок после каждой эпохи. Например, я тренировал свою модель для 100 эпох за один день, а на следующий день я хочу тренировать ее еще 50 эпох. Мне нужно сгенерировать графики потерь против эпох и точности против эпох за целые 150 эпох. Я использую fit_generator метод. Есть ли способ сохранить историю тренировок после каждой эпохи (наиболее вероятно, используя Callback)? Я знаю, как сохранить историю тренировок после ее окончания. Я использую бэкэнд Tensorflow.

Answer 1

Keras имеет обратный вызов CSVLogger, который, кажется, делает именно то, что вам нужно: Обратные вызовы - Документация Keras

Из документации:

"Обратный вызов, который передает результаты эпохи в файл csv."

Имеет параметр добавления для добавления в файл. Опять же из документации:

"append: True: добавить, если файл существует (полезно для продолжения обучения). False: перезаписать существующий файл"

from keras.callbacks import CSVLogger

csv_logger = CSVLogger("model_history_log.csv", append=True)
model.fit_generator(...,callbacks=[csv_logger])

Answer 2

У меня было подобное требование, я пошел наивный подход.

1.Python-код для запуска в течение 50 эпох:
Я сохранил историю модели и саму модель обучил за 50 эпох. .history используется для хранения всей истории обученной модели.

history = model.fit_generator(......) # training the model for 50 epochs
model.save("trainedmodel_50Epoch.h5") # saving the model
with open('trainHistoryOld', 'wb') as handle: # saving the history of the model
    dump(history.history, handle)

2.Python-код для загрузки обученной модели и обучения для следующих 50 эпох:

from keras.models import load_model
model = load_model('trainedmodel_50Epoch.h5')# loading model trained for 50 Epochs

hstry = model.fit_generator(......) # training the model for another 50 Epochs

model.save("trainedmodel_50Epoch.h5") # saving the model 

with open('trainHistoryOld', 'wb') as handle: # saving the history of the model trained for another 50 Epochs
    dump(hstry.history, handle)

from pickle import load
import matplotlib.pyplot as plt

with open('trainHistoryOld', 'rb') as handle: # loading old history 
    oldhstry = load(handle)

oldhstry['loss'].extend(hstry['loss'])
oldhstry['acc'].extend(hstry['acc'])
oldhstry['val_loss'].extend(hstry['val_loss'])
oldhstry['val_acc'].extend(hstry['val_acc'])

# Plotting the Accuracy vs Epoch Graph
plt.plot(oldhstry['acc'])
plt.plot(oldhstry['val_acc'])
plt.title('model accuracy')
plt.ylabel('accuracy')
plt.xlabel('epoch')
plt.legend(['train', 'test'], loc='upper left')
plt.show()

# Plotting the Loss vs Epoch Graphs
plt.plot(oldhstry['loss'])
plt.plot(oldhstry['val_loss'])
plt.title('model loss')
plt.ylabel('loss')
plt.xlabel('epoch')
plt.legend(['train', 'test'], loc='upper left')
plt.show()

Вы также можете создать собственный класс, как указано в ответе, предоставленном ранее.

Answer 3

Вы можете сохранить историю тренировок следующим образом

hist = model.fit_generator(generator(features, labels, batch_size), samples_epoch=50, nb_epoch=10)
import pickle
with open('text3', 'wb') as f:
    pickle.dump(hist.history, f)

Для сохранения истории тренировок после каждой эпохи

import pickle
hist1 = []
for _ in range(10):
   hist = model.fit(X_train, y_train, epochs=1, batch_size=batch_size, validation_split=0.1)
   hist1.append(hist.history)

with open('text3', 'wb') as f:
    pickle.dump(hist1.history, f)

Для контрольно-пропускного пункта

filepath="weights.best.hdf5"
checkpoint = ModelCheckpoint(filepath, monitor='val_acc', verbose=1, save_best_only=True, mode='max')
callbacks_list = [checkpoint]
# Fit the model
model.fit(X, Y, validation_split=0.33, epochs=150, batch_size=10, callbacks=callbacks_list, verbose=0)

Answer 4

Для сохранения истории модели у вас есть два варианта.

1. Использование keras ModelCheckPoint Класс обратного вызова
2. Создать пользовательский класс

Вот как создать класс обратного вызова для контрольной точки.

class CustomModelCheckPoint(keras.callbacks.Callback):
    def __init__(self,**kargs):
        super(CustomModelCheckPoint,self).__init__(**kargs)
        self.epoch_accuracy = {} # loss at given epoch
        self.epoch_loss = {} # accuracy at given epoch
        def on_epoch_begin(self,epoch, logs={}):
            # Things done on beginning of epoch. 
            return

        def on_epoch_end(self, epoch, logs={}):
            # things done on end of the epoch
            self.epoch_accuracy[epoch] = logs.get("acc")
            self.epoch_loss[epoch] = logs.get("loss")
            self.model.save_weights("name-of-model-%d.h5" %epoch) # save the model

Теперь для использования класса обратного вызова

checkpoint = CustomModelCheckPoint()
model.fit_generator(...,callbacks=[checkpoint])

теперь checkpoint.epoch_accuracy словарь содержит погрешности в заданную эпоху, а checkpoint.epoch_loss словарь содержит потери в заданную эпоху