Ошибка нехватки памяти при одновременном хранении нескольких массивов

Question

Я пытаюсь сохранить данные пикселей 30227 (1024 x 1024) изображений вместе, объединив их в список для формирования моих обучающих данных. Но при этом в моем блокноте Jupyter появляется сообщение об ошибке «Не хватает памяти». Ниже приведены строки кода, которые я использовал.

 train_data = []
 mm_scaler  = MinMaxScaler()
 for file_id in data['patientId']:
     file_name = train_images_path+"\\"+file_id.strip()+".dcm"
     if os.path.exists(file_name):
          image_data = mm_scaler.fit_transform(pydicom.dcmread(file_name).pixel_array)
          train_data.append(image_data)

Есть ли другой способ сохранить эти данные вместе, который я могу использовать позже для обучения моей модели? Пожалуйста, помогите мне в этом

Answer 1

Ошибка нехватки памяти возникает, когда есть ограничение для системы, вы можете посмотреть на это здесь

Для хранения данных вы можете воспользоваться помощью по этой ссылке и this

У меня нет файла .dcm для репликации ошибки, но я предлагаю выполнить масштабирование minmax после импорта изображений в массив, вы можете выполнять это как матричные операции, а не работа с массивом, и это также займет меньше времени.