Сессия cra sh в Colab из-за чрезмерного использования оперативной памяти

Question

Я получаю следующую ошибку времени выполнения при попытке создать огромный массив 3D numpy. Ваш сеанс завершился сбоем после использования всей доступной оперативной памяти.

Этот код вызывает ошибку,

decoder_output_one_hot = np.zeros((30000, 23, 20000), dtype='float32').

Почему это происходит, когда я могу получить доступ к более чем 25 ГБ RAM

Answer 1

Вы пытаетесь создать массив с 30000 x 23 x 20000 = 13 800 000 000 записей. Каждая запись представляет собой 32-разрядное число с плавающей запятой, поэтому общее число байтов равно 13 800 000 000 x (32/8) = 55 200 000 000: другими словами, ваш массив будет занимать более 50 ГБ в ОЗУ, что вдвое больше, чем у вас есть.