Как Keras load_data () узнает, какую часть данных составляют поезд и набор тестов?

Question

Я довольно новичок в Keras, и я хотел начать с урока .Там, скажем, почти в начале, строки кода

Загрузка предварительно перемешанных данных MNIST в наборы поездов и тестов

(X_train, y_train), (X_test, y_test) =mnist.load_data ()

.Интересно, откуда Керас знает, какие данные являются частью обучения и что является частью тестирования?Хотя это довольно простой вопрос, я не могу увидеть определенное определение в документации Keras (поиск даже не дает никакого результата).Поэтому я ценю любую помощь, поскольку часто не могу найти какие-либо определения команд в Keras .Для других языков, таких как C ++, R, Python и т. Д., Довольно легко найти некоторые определения.Но для Keras даже Google не предоставляет мне полезных результатов поиска (по крайней мере, не на первых 2 страницах).

TL; DR: Как load_data () узнает, что такое обучение и проверка набора данных

Answer 1

Лучший способ выяснить это - посмотреть код Керы :

def load_data(path='mnist.npz'):
    path = get_file(path, origin='https://s3.amazonaws.com/img-datasets/mnist.npz', file_hash='8a61469f7ea1b51cbae51d4f78837e45')
    with np.load(path, allow_pickle=True) as f:
        x_train, y_train = f['x_train'], f['y_train']
        x_test, y_test = f['x_test'], f['y_test']
    return (x_train, y_train), (x_test, y_test)

В основном вы можете скачать файл, содержащий набор данных, который уже разделен в поезде итестовые данные.Единственный параметр (path) - это, в основном, место для хранения загруженного набора данных.

Answer 2

Для исходного кода Keras я рекомендую поискать в репозитории Github - например, Google "keras mnist github".Из исходного кода , mnist.load_data() распаковывает набор данных, который был специально засолен в формат, который позволяет извлекать данные, как показано в исходном коде (также предварительно- сортируется в поезд против теста, предварительно перемешанный и т. д.).

Затем Keras возвращает распакованные данные в форме, которую вы использовали выше.