У меня слишком большой набор дат для моих ресурсов. Для обучения этому набору дат я решил разбить его на несколько небольших файлов и создать генератор , который загружает файлы и устанавливает их заранее.
Проблема в том, что я не знаю, сколько существует пакетов.
Тогда я не знаю __len__ для всего набора данных, я могу только вычислить __len__ после загрузки файла.
Моим первым решением было обучить k эпох, по одному на каждый файл, а затем, в конце эпохи, загрузить новый файл и обновить новый __len__. Проблема в том, что я обнаружил, что '' * len '' 'вызывается в начале тренировки, а не больше. https://github.com/keras-team/keras/issues/10615
Я не хочу проходить другие подобные тренировки.
for f in list_file:
x, y = load(f)
model.fit(x,y)