Я пытаюсь прочитать данные из файла .csv в блокноте Jupyter (Python)
.csv имеет размер 8,5 ГБ, 70 миллионов строк и 30 столбцов
Когда я попробуйте прочитать .csv, я получаю ошибки.
Ниже приведены мои коды
import pandas as pd
log = pd.read_csv('log_20100424.csv', engine = 'python')
Я также пытался использовать пиарроу, но это не сработало.
import pandas as pd
from pyarrow import csv`
log = csv.read('log_20100424.csv').to_pandas()
Мой вопрос:
Как читать огромный (8.5G) файл .csv в Jupyter Notebook
Есть ли другой способ прочитать огромный файл .csv?
Мой ноутбук имеет 8 ГБ оперативной памяти, работает на 64-битной Windows 10 и i5-8265U 1,6 ГГц.