Как бороться с MemoryError в NumPy с Keras?

Question

Я пытаюсь обработать данные и использовать их позже для обучения модели в керасе. Однако у меня не хватает памяти, когда я возвращаю 4 массива одновременно основной функции. Код выглядит так:

def prepare_data:
    all_3d_data = []
    for j in range(all_3d_data):
        ...
        X_train.append(all_3d_data)
    del all_3d_data

Есть четыре одинаковых цикла, в каждом из которых один массив заполнен некоторыми данными. Эти 4 массива сразу возвращаются основной функции:

    return X_train, Y_train, X_test, Y_test

В основной функции, когда она вызывается:

if __name__ == "__main__":
    X_train, Y_train, X_test,Y_test = prepare_data()

Возникает ошибка:

Файл "C: ... \ tenorflow \ lib \ site-packages \ numpy \ core \ numeric.py", строка 501, в asarray возвращаемый массив (a, dtype, copy = False, order = order)

MemoryError

Эта ошибка не возникает, когда я использую меньшие данные. Как я могу это исправить? Должен ли я использовать пакет в Keras?