MemoryError: невозможно выделить массив с формой (2515, 406272) и типом данных float32

Question

Я пытаюсь сделать распознавание сустава пальца, используя CNN на Spyder на Anaconda. У меня 2515 изображений, с которыми я имею дело, и кажется, что 8 ГБ недостаточно для этого. Что я могу сделать? Должен ли я получить другую палку ОЗУ или лучше подойдет этот проект на Kaggle / Colab?

arr = np.array(finger_dat)
arr = arr.reshape((2515, 406272))

arr = arr / 255

#############Making dataset####################

label = np.array(range(503))
label = np.repeat(label, 5)

dataset = pd.DataFrame(arr)
dataset['label'] = label

X = dataset.iloc[:, 0:406272]
y = dataset.iloc[:, -1]

from sklearn.tree import DecisionTreeClassifier
dtf = DecisionTreeClassifier()
dtf.fit(X, y)

dtf.score(X, y)

Answer 1

На вашем месте я бы попробовал в следующем порядке:

colab, измените код для загрузки пакетов, измените код, чтобы использовать базу данных для питания поезда, купить больше оперативной памяти, но вам, вероятно, понадобится> 40 Гб.

Answer 2

Попробуйте обработать данные в пакетном режиме.

Посмотрите на это do c. от sklearn: Стратегии масштабирования в вычислительном отношении: большие данные