Я не могу прочитать какой-либо CSV-файл, используя Pandas на PyCharm, несмотря на то, что я установил pandas

Question

import pandas as pd
import numpy as np
data = pd.read_csv('dataset.csv')
print(data.head())

Трассировка (последний вызов был последним): файл «C: / Users / Shantanu Shubham / PycharmProjects / dash / dashboard.py», строка 6, в data = pd.read_csv ('gapminder.csv)') Файл "C: \ Users \ Shantanu Shubham \ PycharmProjects \ dash \ venv \ lib \ site-packages \ pandas \ io \ parsers.py", строка 685, в parser_f возвращает _read (filepath_or_buffer, kwds) Файл "C: \Пользователи \ Shantanu Shubham \ PycharmProjects \ dash \ venv \ lib \ site-packages \ pandas \ io \ parsers.py ", строка 463, в файле _read data = parser.read (nrows)" C: \ Users \ Shantanu Shubham \ PycharmProjects "\ dash \ venv \ lib \ site-packages \ pandas \ io \ parsers.py ", строка 1169, в файле read df = DataFrame (col_dict, columns = columns, index = index) Файл" C: \ Users \ Shantanu Shubham \ PycharmProjects "\ dash \ venv \ lib \ site-packages \ pandas \ core \ frame.py ", строка 411, в init mgr = init_dict (данные, индекс, столбцы, dtype = dtype) Файл" C: \Пользователи \ Shantanu Shubham \ PycharmProjects \ dash \ venv \ lib \ site-packages \ pandas \ core \ internals \ construction.py ", строка 257, в init_dict возвращают arrays_to_mgr (массивы, данные_имена, индекс, столбцы, dtype = dtype) Файл "C: \ Users \ Shantanu Shubham \ PycharmProjects \ dash \ venv \ lib \ site-packages \ pandas \ core \ internals \ construction.py", строка 87, в arrays_to_mgr возвращает create_block_manager_from_arrays(массивы, arr_names, оси) Файл "C: \ Users \ Shantanu Shubham \ PycharmProjects \ dash \ venv \ lib \ site-packages \ pandas \ core \ internals \ Manager.py", строка 1694, в create_block_manager_from_arrays blocks = form_blocks (массивы, имена, оси) Файл "C: \ Users \ Shantanu Shubham \ PycharmProjects \ dash \ venv \ lib \ site-packages \ pandas \ core \ internals \ Manager.py", строка 1752, в form_blocks float_blocks = _multi_blockify (items_dict [)FloatBlock "]) Файл" C: \ Users \ Shantanu Shubham \ PycharmProjects \ dash \ venv \ lib \ site-packages \ pandas \ core \ internals \ Manager.py ", строка 1846, в значениях _multi_blockify, размещение = _stack_arrays (список (tup_block), dtype) Файл "C: \ Users \ Shantanu Shubham \ PycharmProjects \ dash \ venv \ lib \ site-packages \ pandas \ core \ internals \ Manager.py", строка 1874, в _stack_arrays stacked = np.empty (shape, dtype = dtype) MemoryError: невозможно выделить массив с формой (535, 79309) и типом данных float64

Процесс завершен с кодом выхода 1

Answer 1

Вы уверены, что импортируемый файл имеет правильное содержимое / структуру?

Сообщение об ошибке «Невозможно выделить массив с формой (535, 79309)» заставляет меня думать, что что-то не так с содержимымфайл.

Вот как работает функция формы:

from numpy import array
data = [[11, 22], [33, 44], [55, 66]]
data = array(data)
print(data.shape)

в итоге вы получите:

(3, 2)

Теперь, форма массива выпытается прочитать это (535, 79309) - довольно большой, да?

Answer 2

Это означает, что файл, который вы читаете, больше, чем объем доступной памяти. Есть способы разделить файл на «куски» с помощью генераторов, которые вы можете прочитать.