Сохраните большое количество массивов в одном файле и используйте его, чтобы соответствовать модели Keras - PullRequest
Новая
       19

Сохраните большое количество массивов в одном файле и используйте его, чтобы соответствовать модели Keras

0 голосов
/ 07 марта 2019

У меня огромное количество массивов, которые не помещаются в оперативной памяти. Скажем, миллионы: 

np.arange(10)
  1. Я хочу сохранить их в файловой системе в виде одного файла, фрагмент за фрагментом.
  2. Я хочу прочитать их из файла и передать их моей модели keras, используя model.fit_generator

Я читал о dask , который работает с большими данными, которые не помещаются в памяти, но не смогли достичь моих целей.

1 Ответ

0 голосов
/ 07 марта 2019

Запишите ваши файлы на диск с помощью pickle: 

pickle.dump((x, y), open(file, "wb"), protocol=pickle.HIGHEST_PROTOCOL)

Затем создайте список тестовых и обучающих файлов и создайте генератор: 

def raw_generator(files):
    while 1:      
        for file_num, file in enumerate(files):
            try:
                x, y = pickle.load(open(file, 'rb'))                   
                batches = int(np.ceil(len(y) / batch_size))
                for i in range(0, batches):                        
                    end = min(len(x), i * batch_size + batch_size)
                    yield x[i * batch_size:end], y[i * batch_size:end]

            except EOFError:
                print("error" + file)

train_gen = preprocessing.generator(training_files)
test_gen = preprocessing.generator(test_files)

Наконец вызовите fit_generator: 

history = model.fit_generator(
                generator=train_gen,
                steps_per_epoch= (len(training_files)*data_per_file)/batch_size,
                epochs=epochs
                validation_data=test_gen,
                validation_steps=(len(test_files)*data_per_file)/batch_size,        
                use_multiprocessing=False,
                max_queue_size=10,
                workers=1,
                verbose=1)
...