Значительно более высокая точность тестирования на mnist с keras, чем на tensorflow.keras - PullRequest
Новая
       45

Значительно более высокая точность тестирования на mnist с keras, чем на tensorflow.keras

6 голосов
/ 27 мая 2020

Я проверял на примере basi c мои TensorFlow (v2.2.0), Cuda (10.1) и cudnn (libcudnn7-dev_7.6.5.32-1 + cuda10.1_amd64.deb), и я получаю странные результаты ...

При запуске следующего примера в Keras, как показано в https://keras.io/examples/mnist_cnn/, я получаю ~ 99% a cc @validation. Когда я адаптирую импорт через TensorFlow, я получаю только 86%.

Я что-то забыл.

Для запуска с использованием тензорного потока: 

from __future__ import print_function

import tensorflow as tf
from tensorflow.keras.datasets import mnist
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Dense, Dropout, Flatten
from tensorflow.keras.layers import Conv2D, MaxPooling2D
from tensorflow.keras import backend as K

batch_size = 128
num_classes = 10
epochs = 12

# input image dimensions
img_rows, img_cols = 28, 28

# the data, split between train and test sets
(x_train, y_train), (x_test, y_test) = mnist.load_data()

if K.image_data_format() == 'channels_first':
    x_train = x_train.reshape(x_train.shape[0], 1, img_rows, img_cols)
    x_test = x_test.reshape(x_test.shape[0], 1, img_rows, img_cols)
    input_shape = (1, img_rows, img_cols)
else:
    x_train = x_train.reshape(x_train.shape[0], img_rows, img_cols, 1)
    x_test = x_test.reshape(x_test.shape[0], img_rows, img_cols, 1)
    input_shape = (img_rows, img_cols, 1)

x_train = x_train.astype('float32')
x_test = x_test.astype('float32')
x_train /= 255
x_test /= 255
print('x_train shape:', x_train.shape)
print(x_train.shape[0], 'train samples')
print(x_test.shape[0], 'test samples')

# convert class vectors to binary class matrices
y_train = tf.keras.utils.to_categorical(y_train, num_classes)
y_test = tf.keras.utils.to_categorical(y_test, num_classes)

model = Sequential()
model.add(Conv2D(32, kernel_size=(3, 3),
                 activation='relu',
                 input_shape=input_shape))
model.add(Conv2D(64, (3, 3), activation='relu'))
model.add(MaxPooling2D(pool_size=(2, 2)))
model.add(Dropout(0.25))
model.add(Flatten())
model.add(Dense(128, activation='relu'))
model.add(Dropout(0.5))
model.add(Dense(num_classes, activation='softmax'))

model.compile(loss=tf.keras.losses.categorical_crossentropy,
              optimizer=tf.optimizers.Adadelta(),
              metrics=['accuracy'])

model.fit(x_train, y_train,
          batch_size=batch_size,
          epochs=epochs,
          verbose=1,
          validation_data=(x_test, y_test))
score = model.evaluate(x_test, y_test, verbose=0)
print('Test loss:', score[0])
print('Test accuracy:', score[1])

К сожалению, я получаю следующий результат: 

Epoch 2/12
469/469 [==============================] - 3s 6ms/step - loss: 2.2245 - accuracy: 0.2633 - val_loss: 2.1755 - val_accuracy: 0.4447
Epoch 3/12
469/469 [==============================] - 3s 7ms/step - loss: 2.1485 - accuracy: 0.3533 - val_loss: 2.0787 - val_accuracy: 0.5147
Epoch 4/12
469/469 [==============================] - 3s 6ms/step - loss: 2.0489 - accuracy: 0.4214 - val_loss: 1.9538 - val_accuracy: 0.6021
Epoch 5/12
469/469 [==============================] - 3s 6ms/step - loss: 1.9224 - accuracy: 0.4845 - val_loss: 1.7981 - val_accuracy: 0.6611
Epoch 6/12
469/469 [==============================] - 3s 6ms/step - loss: 1.7748 - accuracy: 0.5376 - val_loss: 1.6182 - val_accuracy: 0.7039
Epoch 7/12
469/469 [==============================] - 3s 6ms/step - loss: 1.6184 - accuracy: 0.5750 - val_loss: 1.4296 - val_accuracy: 0.7475
Epoch 8/12
469/469 [==============================] - 3s 7ms/step - loss: 1.4612 - accuracy: 0.6107 - val_loss: 1.2484 - val_accuracy: 0.7719
Epoch 9/12
469/469 [==============================] - 3s 6ms/step - loss: 1.3204 - accuracy: 0.6402 - val_loss: 1.0895 - val_accuracy: 0.7945
Epoch 10/12
469/469 [==============================] - 3s 6ms/step - loss: 1.2019 - accuracy: 0.6650 - val_loss: 0.9586 - val_accuracy: 0.8097
Epoch 11/12
469/469 [==============================] - 3s 7ms/step - loss: 1.1050 - accuracy: 0.6840 - val_loss: 0.8552 - val_accuracy: 0.8216
Epoch 12/12
469/469 [==============================] - 3s 7ms/step - loss: 1.0253 - accuracy: 0.7013 - val_loss: 0.7734 - val_accuracy: 0.8337
Test loss: 0.7734305262565613
Test accuracy: 0.8337000012397766

Далеко не 99,25%, как при импорте Keras. Что мне не хватает?

1 Ответ

2 голосов
/ 28 мая 2020

Несоответствие в параметрах оптимизатора между keras и tensorflow.keras

Таким образом, суть проблемы заключается в разных параметрах оптимизаторов Adadelta по умолчанию в Keras и Tensorflow. Конкретно разные скорости обучения. Мы можем убедиться в этом простой проверкой. Используя версию кода Keras, print(keras.optimizers.Adadelta().get_config()) outpus 

{'learning_rate': 1.0, 'rho': 0.95, 'decay': 0.0, 'epsilon': 1e-07}

А в версии Tensorflow print(tf.optimizers.Adadelta().get_config() дает нам 

{'name': 'Adadelta', 'learning_rate': 0.001, 'decay': 0.0, 'rho': 0.95, 'epsilon': 1e-07}

Как мы видим, есть несоответствие между скоростью обучения оптимизаторов Adadelta. Keras имеет скорость обучения по умолчанию 1.0, в то время как Tensorflow имеет скорость обучения по умолчанию 0.001 (в соответствии с их другими оптимизаторами).

Влияние более высокой скорости обучения

Поскольку версия оптимизатора Adadelta для Keras имеет большую скорость обучения, она сходится намного быстрее и обеспечивает высокую точность в течение 12 эпох, в то время как оптимизатор Tensorflow Adadelta требует более длительного обучения. Если вы увеличите количество эпох обучения, модель Tensorflow потенциально также может достичь 99% точности.

Исправление

Но вместо увеличения времени обучения, мы можем просто инициализировать модель Tensorflow, чтобы она вела себя аналогично модели Кераса, изменив скорость обучения Adadelta на 1.0. т.е. 

model.compile(
    loss=tf.keras.losses.categorical_crossentropy,
    optimizer=tf.optimizers.Adadelta(learning_rate=1.0), # Note the new learning rate
    metrics=['accuracy'])

Внося это изменение, мы получаем следующую производительность, работающую на Tensorflow: 

Epoch 12/12
60000/60000 [==============================] - 102s 2ms/sample - loss: 0.0287 - accuracy: 0.9911 - val_loss: 0.0291 - val_accuracy: 0.9907
Test loss: 0.029134796149221757
Test accuracy: 0.9907

, что близко к желаемой точности 99,25%.

ps Между прочим , похоже, что различные параметры по умолчанию между Keras и Tensorflow - это известная проблема, которая была исправлена, но затем возвращена: https://github.com/keras-team/keras/pull/12841 разработка программного обеспечения затруднена.

...