Проблема порядка истории Keras при сохранении в GDrive - PullRequest
0 голосов
/ 26 ноября 2018

Моя цель - сохранять журналы Keras (точность, потери и т. Д.) На Google Диске после каждой эпохи

Я использую следующий код:

from google.colab import drive
drive.mount('/content/drive')

class HistoryCallback(callbacks.Callback):
    def on_epoch_end(self, epoch, logs={}):
        with open("drive/My Drive/"+csv_path, "a") as myfile:
            myfile.write(str(epoch)+","+str(logs)+"\n")

classifier.fit_generator (..., callbacks = [HistoryCallback ()])

На моем диске я иногда получаю странный вывод, например:

25  {'acc': 0.963835932997043   loss': 0.10425430848152908  val_acc': 0.7071953016230713    val_loss': 1.1386645126622854   lr': 2.3961632e-06}

2366427 loss': 1.1117452404459112   val_acc': 0.5577092514076597    val_loss': 1.0548135743792362   lr': 4.980681e-06}  
2   {'acc': 0.6330444829612712  loss': 0.9205646275682026   val_acc': 0.5994126287500939    val_loss': 0.9518886575614829   lr': 4.956604e-06}
3   {'acc': 0.6983824379057777  loss': 0.7753418573921365   val_acc': 0.6314243757777277    val_loss': 0.8930798317542336   lr': 4.923029e-06}
4   {'acc': 0.7437319468601393  loss': 0.6659318362681732   val_acc': 0.6464023491359492    val_loss': 0.866631023106596    lr': 4.8800885e-06}
5   {'acc': 0.7798526863016054  loss': 0.5813610065455109   val_acc': 0.6637298091742786    val_loss': 0.8554121221564764   lr': 4.8279526e-06}
6   {'acc': 0.8090410167584868  loss': 0.5098161270401851   val_acc': 0.6657856092579039    val_loss': 0.8496283279291509   lr': 4.7668264e-06}
7   {'acc': 0.8317157712132858  loss': 0.45465362796302755  val_acc': 0.6734214392352559    val_loss': 0.8745797048056179   lr': 4.6969512e-06}
8   {'acc': 0.8491478913819287  loss': 0.4042509938624124   val_acc': 0.688986784105959 val_loss': 0.8465897937878288   lr': 4.6186033e-06}
....

Как видите, порядок перепутан, эпоха 0 отсутствует, а 2366427 - это часть точности с отсутствующим номером эпохи и несколькими предыдущими числами

Кто-нибудь сталкивался с этим раньше и знает, как поступитьс этим?

РЕДАКТИРОВАТЬ: Я заметил, что после некоторых эпох, файл на GDrive также 0 байтов, а затем на следующей эпохе он заполняется обратно

1 Ответ

0 голосов
/ 29 ноября 2018

Предположение: ваше обучение проходит в нескольких потоках / подпроцессах, поэтому ваш on_epoch_end борется сам с собой - все выполняющиеся одновременно копии открывают один и тот же файл в режиме «a» и (частично) перезаписывают выходные данные друг друга.,Устранена ли проблема, если вы записываете в файл за эпоху или сериализуете вывод другим способом?

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...