Keras custom fit_generator для числовых данных

Question

У меня есть несколько файлов CSV, которые помещены в каталог. Что я хочу сделать, это создать поток из этого каталога, в котором каждый файл взят, предопределен (например, заполнение нулевым значением, обработка выбросов и т. Д.), А затем каждая точка данных передается в модель keras, и этот процесс должен повторяться для каждого файла. размещены в каталоге. Любые предложения по созданию потока данных такие же, как для данных изображений, доступных в керасе. Также это должно происходить в python:)

Заранее спасибо!

Answer 1

Я не думаю, что Keras изначально обеспечивает такую ​​функциональность.

Вы должны создать свой собственный конвертер, используя что-то вроде glob, чтобы просмотреть каждый файл, отправить его в функции предварительной обработки и, наконец, сохранить его в формате, легко используемом Keras, например, в виде массива.

Возможно, вы захотите взглянуть здесь на пример ввода нескольких файлов (хотя в данном случае это уже массивы, а не файлы csv) для использования при обучении модели.