Я пытаюсь использовать pandas_profiling для профилирования таблицы.
В нем около 20 столбцов, большинство из которых являются плавающими и почти 3 миллиона записей.
Я получил следующую ошибку:
Traceback (последний вызов был последним): файл "V: \ Python \ prof.py", строка
53, в
if name == " main ": main () Файл "V: \ Python \ prof.py", строка 21, в основном
df = pd.read_sql (запрос, sql_conn) файл "C: \ Users \ linus \ AppData \ Local \ Programs \ Python \ Python37 \ lib \ site-packages \ pandas \ io \ sql.py",
строка 380, в read_sql
chunksize = chunksize) Файл "C: \ Users \ linus \ AppData \ Local \ Programs \ Python \ Python37 \ lib \ site-packages \ pandas \ io \ sql.py",
строка 1477, в read_query
data = self._fetchall_as_list (курсор) Файл "C: \ Users \ linus \ AppData \ Local \ Programs \ Python \ Python37 \ lib \ site-packages \ pandas \ io \ sql.py",
строка 1486, в списке _fetchall_as_
result = cur.fetchall () MemoryError
Я пробовал с меньшим количеством записей, это сработало.
Есть ли способ обойти эту ошибку? Похоже, это ограничение памяти.
Можем ли мы сделать это по-другому? Или это невозможно с Python?
Спасибо за помощь