Tensorflow возобновить обучение с MirroredStrategy ()

Question

Я обучил свою модель на операционной системе Linux, чтобы я мог использовать MirroredStrategy() и тренироваться на 2 графических процессорах. Обучение остановилось в эпоху 610. Я хочу возобновить обучение, но когда я загружаю свою модель и оцениваю ее, ядро ​​умирает. Я использую ноутбук Jupyter. Если я уменьшу свои тренировочные данные, код будет работать, но он будет работать только на 1 графическом процессоре. Сохранена ли моя стратегия распространения в модели, которую я загружаю, или мне нужно включить ее снова?

ОБНОВЛЕНИЕ

Я пытался include MirroredStrategy():

mirrored_strategy = tf.distribute.MirroredStrategy()
with mirrored_strategy.scope():

    new_model = load_model('\\models\\model_0610.h5', 
                custom_objects = {'dice_coef_loss': dice_coef_loss, 
                'dice_coef': dice_coef}, compile = True)
    new_model.evaluate(train_x,  train_y, batch_size = 2,verbose=1)

NEW ERROR

Ошибка при включении MirroredStrategy():

ValueError: 'handle' is not available outside the replica context or a 'tf.distribute.Stragety.update()' call.

Исходный код:

smooth = 1
def dice_coef(y_true, y_pred):
    y_true_f = K.flatten(y_true)
    y_pred_f = K.flatten(y_pred)
    intersection = K.sum(y_true_f * y_pred_f)
    return (2. * intersection + smooth) / (K.sum(y_true_f) + K.sum(y_pred_f) + smooth)

def dice_coef_loss(y_true, y_pred):
    return (1. - dice_coef(y_true, y_pred))

new_model = load_model('\\models\\model_0610.h5', 
                       custom_objects = {'dice_coef_loss': dice_coef_loss, 'dice_coef': dice_coef}, compile = True)
new_model.evaluate(train_x,  train_y, batch_size = 2,verbose=1)

observe_var = 'dice_coef'
strategy = 'max' # greater dice_coef is better
model_resume_dir = '//models_resume//'

model_checkpoint = ModelCheckpoint(model_resume_dir + 'resume_{epoch:04}.h5', 
                                   monitor=observe_var, mode='auto', save_weights_only=False, 
                                   save_best_only=False, period = 2)

new_model.fit(train_x, train_y, batch_size = 2, epochs = 5000, verbose=1, shuffle = True, 
              validation_split = .15, callbacks = [model_checkpoint])

new_model.save(model_resume_dir + 'final_resume.h5')

Answer 1

new_model.evaluate() и compile = True при загрузке модели вызывали проблему. Я установил compile = False и добавил строку компиляции из моего оригинального скрипта.

mirrored_strategy = tf.distribute.MirroredStrategy()
with mirrored_strategy.scope():

    new_model = load_model('\\models\\model_0610.h5', 
                custom_objects = {'dice_coef_loss': dice_coef_loss, 
                'dice_coef': dice_coef}, compile = False)
    new_model.compile(optimizer = Adam(learning_rate = 1e-4, loss = dice_coef_loss,
                metrics = [dice_coef])