Как получить steps_per_epoch для потока данных TextLineDataset - Dataset api

Question

У меня есть генератор, который я использую для обучения, и я использую API набора данных для хранения набора обучающих данных.

Текущая проблема, с которой я сталкиваюсь, состоит в том, чтобы определить, сколько шагов мне нужно сделать за эпоху, поэтому что обучение oop может полностью увидеть данные обучения.

Любая помощь, руководство приветствуется. Заранее спасибо.

Answer 1

С tf.data и, следовательно, tf.data.TextLineDataset, вам не нужно указывать steps_per_epoch. Если вы уже вызвали batch() для ваших данных:

my_textlineDAtaset = my_textlineDataset.batch(my_batchsize)

, функции fit или fit_generator будут знать, сколько шагов нужно пройти, чтобы увидеть все партии.