Оптимизатор адама Tensorflow в Керасе

Question

У меня есть сеть в Tensorflow, и я пытаюсь переопределить ее в Керасе. В настоящее время по сравнению с моделью Tensorflow модель Keras полностью уступает. Потеря намного выше и уменьшается медленнее по сравнению с оригинальной моделью. Я думаю, что я использую не тот оптимизатор. В коде Tensorflow оптимизатор выглядит так:

global_step = tf.Variable(0, trainable=False)
learning_rate = tf.train.exponential_decay(0.0001,
                                           global_step,
                                           decay_steps=10000,
                                           decay_rate=0.33,   
                                           staircase=True)
optimizer = tf.train.AdamOptimizer(learning_rate, epsilon=1e-8)
train_op = optimizer.minimize(total_loss, global_step)

В Керасе это выглядит так:

adam = keras.optimizers.Adam(lr=0.0001, beta_1=0.9, beta_2=0.999, epsilon=1e-8)
model.compile(loss=get_loss_funcs(), optimizer=adam)

Есть ли способ реализовать оптимизатор Tensorflow в Keras?

Answer 1

да, есть! - TFOptimizer

class TFOptimizer(Optimizer):
"""Wrapper class for native TensorFlow optimizers.
"""

это называется так:

keras.optimizers.TFOptimizer(optimizer)

Обертка поможет вам понять, связана ли проблема с оптимизатором.