Использует ли steps_per_epoch весь набор данных

Question

У меня есть большой тренировочный набор данных, созданный генератором, около 60 000 партий (размер 32). Из-за времени, необходимого для обучения, мне нужно использовать обратный вызов, чтобы периодически сохранять модель. Тем не менее, я хочу сохранять его чаще, чем один раз за эпоху в 60 000, потому что на Colab это занимает около 2 часов.

Насколько я понимаю, настройка steps_per_epoch даст мне меньшие эпохи, скажем, 10 000. Что мне не ясно из документации, так это то, что все эти циклы по 60 Кбайт будут по-прежнему циклически повторяться или останавливаются на 10 Кб, а просто повторяются эти 10 Кб? т.е. начинается ли новая эпоха с того места, где остановилась последняя при использовании steps_per_epoch?

Спасибо, Джулиан

Answer 1

Хотя я не знаю об этой опции конкретно, она не будет повторно использовать старые данные, потому что наборы данных предназначены только для обработки вперед. Если бы он повторил данные, ему пришлось бы хранить копию всего, что он уже где-то обработал, так как вы не можете сбросить генератор. Это не будет практично для большого набора данных.