Я понимаю, как использовать keras.utils.Sequence с одним файлом данных. Вы создаете подкласс класса keras.utils.Sequence и реализуете его интерфейс: __len__ и __getitem__.
Например:
def __len__(self):
"Denotes the number of batches per epoch"
return int(np.ceil(self.no_examples / float(self.batch_size)))
def __getitem__(self, idx):
#build the batch w/ idx and self.batch_size
Но что, если ваши данные распределены по нескольким файлам? Например:
- train_part1.csv
- train_part2.csv
- train_partn.csv
Как вы можете перебирать все партии только с одним указателем idx?