DataFrame Pandas не может загружать более 1048571 строк

Question

Я использовал read_csv, чтобы загрузить файл csv в dataframe, используя следующую команду

df = pd.read_csv('2016sales data.csv',skiprows = 3)

Затем я проверил форму информационного кадра

df.shape

вывод:

(1687530, 28)

но когда я запустил эту команду

df.tail(5)

Вывод показал, что всего 5 строк, последний индекс которых был 1048571.Означает ли это, что только 1048571 строк было загружено, несмотря на то, что df.shape, показывает 1687530 строк.

Answer 1

Не уверен, что это будет работать, но когда я работаю с очень большими информационными фреймами, установка kwarg low_memory=False на функцию read_csv спасает день большую часть времени.