Как передать большой Тензор в Model.fit в виде серии партий? - PullRequest
0 голосов
/ 04 апреля 2019

У меня есть данные обучения в виде двух Tensor объектов (не ndarray): trainData из (ENTIRE_DATASET_SIZE, FEATURE_NUM) и trainValues из (ENTIRE_DATASET_SIZE, 1) (имеется 1 выходное значение).

В настоящее время я передаю их в свою модель следующим образом:

model.fit_dyn(trainData, trainValues,
    epochs: 36000,
    steps_per_epoch: 1,
    initial_epoch: startingEpoch,
    verbose: 2,
    validation_data: validation,
    validation_steps: validationSampleCount,
    callbacks: new ICallback[]{
        Run.TensorBoard,
        checkpoints,
    });

Я рассматриваю возможность разделения тренировочных данных на партии в соответствии с рекомендациями в некоторых местах , несмотря на то, что данные полностью соответствуютв память.

Я пробовал это:

const int BatchSize = 1000;
var trainBatches = tf.split(
    trainData,
    num_or_size_splits: BatchSize);
var trainValueBatches = tf.split(
    trainValues,
    num_or_size_splits: BatchSize);

И затем передавая trainBaches и trainValueBatches в fit, но я не могу понять, что должнопередаваться для других параметров.Похоже, fit не любит массивы Tensor объектов.

TensorFlow 1.12

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...