Матричные массивы, используемые при обучении в TF1 - Keras имеют гораздо меньшую точность в TF2

Question

У меня была нейронная сеть в керасе, которая работала хорошо. Теперь, когда в Tensorflow 2 вышел устаревший продукт, мне пришлось переписать модель. Теперь это дает мне худшие метрики точности.

Я подозреваю, что tf2 хочет, чтобы вы использовали их структуру данных для обучения моделей, и они приводят пример того, как перейти от Numpy к tf.data.Dataset здесь .

Итак, я сделал:

train_dataset = tf.data.Dataset.from_tensor_slices((X_train_deleted_nans, y_train_no_nans))
train_dataset = train_dataset.shuffle(SHUFFLE_CONST).batch(BATCH_SIZE)

Как только тренировка начинается, я получаю это предупреждение:

2019-10-04 23:47:56.691434: W tensorflow/core/common_runtime/base_collective_executor.cc:216] BaseCollectiveExecutor::StartAbort Out of range: End of sequence
     [[{{node IteratorGetNext}}]]

Answer 1

Добавление .repeat() к созданию моего tf.data.Dataset решило мою ошибку. Как и предложил duysqubix в своем красноречивом решении, опубликованном здесь:

https://github.com/tensorflow/tensorflow/issues/32817#issuecomment-539200561