Keras Look Ahead не тренируется с RAdam - PullRequest
Новая
       71

Keras Look Ahead не тренируется с RAdam

0 голосов
/ 07 октября 2019

Я пытаюсь использовать прогнозирование с RAdam в качестве внутреннего оптимизатора. Я пробовал Look Ahead с Адамом в качестве внутреннего оптимизатора и отдельно использовал RAdam в качестве оптимизатора с хорошими результатами. Однако, когда я пытаюсь использовать Look Ahead с RAdam, точность фактически ухудшается во время тренировок.

Я убедился, что обучение проходит хорошо, когда эти оптимизаторы запускаются отдельно. Я также пробовал с разминкой и без нее с помощью RAdam. 

from keras_lookahead import Lookahead
from keras_radam import RAdam

batch_size = 128
num_classes = 10
epochs = 20
Ranger=Lookahead(RAdam(total_steps=10000, warmup_proportion=0.1, min_lr=1e-5))

(x_train, y_train), (x_test, y_test) = mnist.load_data()

x_train = x_train.reshape(60000, 784)
x_test = x_test.reshape(10000, 784)
x_train = x_train.astype('float32')
x_test = x_test.astype('float32')
x_train /= 255
x_test /= 255

print(x_train.shape[0], 'train samples')
print(x_test.shape[0], 'test samples')

y_train = keras.utils.to_categorical(y_train, num_classes)
y_test = keras.utils.to_categorical(y_test, num_classes)

model = Sequential()
model.add(Dense(512, activation='relu', input_shape=(784,)))
model.add(Dropout(0.2))
model.add(Dense(512, activation='relu'))
model.add(Dropout(0.2))
model.add(Dense(num_classes, activation='softmax'))
model.summary()
model.compile(loss='categorical_crossentropy',
              optimizer=Ranger,
              metrics=['accuracy'])



history = model.fit(x_train, y_train,
                    batch_size=batch_size,
                    epochs=epochs,
                    verbose=1,
                    validation_data=(x_test, y_test))
score = model.evaluate(x_test, y_test, verbose=0)
print('Test loss:', score[0])
print('Test accuracy:', score[1])

Модель тренируется, но точность начинает снижаться (.0851) и ухудшается (.0836). Есть идеи, почему

...