Ошибка памяти Numpy после добавления 15K + изображений

Question

Я создаю модель глубокого обучения для нейронной сети Convolution.

У меня есть 90 000 изображений для каждого размера.

Я изменяю их размер до фиксированного размера (512 512) и добавляю их в numyмассив.Однако я превышаю предел памяти, что приводит к ошибке памяти.Я подошел к Across Sparse matrix как способ, но я не могу понять, как это сделать.

Пожалуйста, ведите меня с уважением, Видит Шах

Answer 1

Зачем вам нужно хранить их все в памяти одновременно?Если вы используете модель глубокого обучения, вы почти наверняка используете стохастический градиентный спуск, что означает, что вы используете только часть своего набора данных на любой данной итерации.Загружайте только те данные, которые вам нужны на текущей итерации.Вы можете легко сделать это с генераторами, например:

def data_generator():
    while True:
        for image in images:
            yield read(image)