Преобразование большого количества списков списков python в кадр данных pandas

Question

У меня есть список списков с 16 тыс. Строк и 16 тыс. Столбцов в python:

Пожалуйста, предложите способ преобразования в pandas фрейм данных.

Я пробовал использовать pandas.dataframe, но он показывает memory error из-за большого размера списков.

Answer 1

Python списки целых чисел / чисел с плавающей запятой имеют большие накладные расходы. Если вы построите эту структуру данных с самого начала как двумерный NumPy массив или как список одномерных NumPy массивов, вы сможете значительно снизить накладные расходы на память.