Керас не тренируется на весь набор данных

Question

Итак, я следовал официальному руководству по тензорному потоку от Google и пытался построить простую нейронную сеть с использованием Keras. Но когда дело доходит до обучения модели, она не использует весь набор данных (с 60000 записями) и вместо этого использует только 1875 записей для обучения. Любое возможное исправление?

import tensorflow as tf
from tensorflow import keras
import numpy as np

fashion_mnist = keras.datasets.fashion_mnist
(train_images, train_labels), (test_images, test_labels) = fashion_mnist.load_data()

train_images = train_images / 255.0
test_images = test_images / 255.0

class_names = ['T-shirt', 'Trouser', 'Pullover', 'Dress', 'Coat', 'Sandal', 'Shirt', 'Sneaker', 'Bag', 'Ankle Boot']

model = keras.Sequential([
                          keras.layers.Flatten(input_shape=(28, 28)),
                          keras.layers.Dense(128, activation='relu'), 
                          keras.layers.Dense(10)
])

model.compile(optimizer='adam',
              loss= tf.keras.losses.SparseCategoricalCrossentropy(from_logits=True),
              metrics=['accuracy'])

model.fit(train_images, train_labels, epochs=10)

Вывод:

Epoch 1/10
1875/1875 [==============================] - 3s 2ms/step - loss: 0.3183 - accuracy: 0.8866
Epoch 2/10
1875/1875 [==============================] - 3s 2ms/step - loss: 0.3169 - accuracy: 0.8873
Epoch 3/10
1875/1875 [==============================] - 3s 2ms/step - loss: 0.3144 - accuracy: 0.8885
Epoch 4/10
1875/1875 [==============================] - 3s 2ms/step - loss: 0.3130 - accuracy: 0.8885
Epoch 5/10
1875/1875 [==============================] - 3s 2ms/step - loss: 0.3110 - accuracy: 0.8883
Epoch 6/10
1875/1875 [==============================] - 3s 2ms/step - loss: 0.3090 - accuracy: 0.8888
Epoch 7/10
1875/1875 [==============================] - 3s 2ms/step - loss: 0.3073 - accuracy: 0.8895
Epoch 8/10
1875/1875 [==============================] - 3s 2ms/step - loss: 0.3057 - accuracy: 0.8900
Epoch 9/10
1875/1875 [==============================] - 3s 2ms/step - loss: 0.3040 - accuracy: 0.8905
Epoch 10/10
1875/1875 [==============================] - 3s 2ms/step - loss: 0.3025 - accuracy: 0.8915

<tensorflow.python.keras.callbacks.History at 0x7fbe0e5aebe0>

Вот оригинальная записная книжка Google Colab, где я работал над этим: https://colab.research.google.com/drive/1NdtzXHEpiNnelcMaJeEm6zmp34JMcN38

Answer 1

Число 1875, показанное во время подгонки модели, не является обучающими образцами; это число пакетов .

model.fit включает необязательный аргумент batch_size, который, согласно документации :

Если не указано, batch_size будет по умолчанию 32.

Итак, что здесь происходит - вы подходите с размером пакета по умолчанию 32 (так как вы не указали ничего другого), поэтому общее количество пакетов для ваших данных

60000/32 = 1875

Answer 2

Он не обучается на 1875 образцах.

Epoch 1/10
1875/1875 [===

1875 - это количество шагов, а не образцов. В методе fit есть аргумент batch_size. Значение по умолчанию для этого 32. Так что 1875*32=60000. Реализация правильная.

Если вы обучите его с batch_size=16, вы увидите, что количество шагов будет 3750 вместо 1875, поскольку 60000/16=3750.