Я выполняю длительный процесс обучения Keras, используя n-кратную перекрестную проверку. Для регистрации я использую класс keras.callbacks.TensorBoard. Это создает n файлов журнала размером 5-8 МБ для каждой обучаемой модели. Из-за нехватки компьютерных ресурсов мне приходится часто останавливать и возобновлять обучение, которое я выполняю с использованием настройки Keras initial_epoch.
Это работает, но каждый раз, когда я перезапускаю тренировочный процесс, создаются новые файлы журнала. Это проблема, поскольку она тратит огромное количество места.
Как я могу обойти эту проблему? Меня интересуют только потери и точность проверки моделей, поэтому мне не нужны все данные, хранящиеся в TensorBoard. В частности, это действительно большие events.out.tfevents.<timestamp>.<hostname> файлы, которые вызывают у меня проблемы.
Мои настройки обратных вызовов:
tb = TensorBoard(log_dir = join(fold_dir, 'logs'),
write_graph = True, write_images = True)
model.fit_generator(train,
steps_per_epoch = len(train),
initial_epoch = initial_epoch,
epochs = 500,
shuffle = True,
validation_data = val,
validation_steps = len(val),
callbacks = [tb])