У меня есть матрица 1.2M x 5000, которую я хочу проанализировать, но мне трудно перевести ее в формат Numpy (я математик, а не программист, извините заранее).К сожалению, когда я вызываю метод numpy.asarray, я получаю MemoryError.
Я посмотрел этот пост: Исключение MemoryError, выданное для numpy.asarray ()
и попытался решить проблему так же, как и они, с помощью чанкинга, но следующий код также не работает:
RP_data = [[x1, ..., x5000], ..., [x1, ..., x5000]]
RP_data_chunks = []
for i in range((len(RP_data) + 50000 - 1) // 50000 ):
print ("Chunk number: " + str(i))
RP_data_chunks.append(np.asarray(RP_data[i * 50000:(i + 1) * 50000], dtype=np.float16))
Он попадает в чанк № 7 (индекс 6) перед тем, как вызвать MemoryError.В моей системе должно быть более чем достаточно памяти для хранения этого объекта, поэтому я не уверен, в чем проблема.