python / pandas "Ядро умерло, перезапуск" при загрузке файла CSV

Question

При попытке загрузить большой CSV-файл (150 МБ) я получаю сообщение об ошибке «Ядро умерло, перезапуск». Тогда единственный код, который я использую, является следующим:

import pandas as pd
from pprint import pprint
from pathlib import Path
from datetime import date
import numpy as np
import matplotlib.pyplot as plt

basedaily = pd.read_csv('combined_csv.csv')

До того, как он работал, но я не знаю, почему он больше не работает. Я попытался исправить это, используя engine = "python" следующим образом:

basedaily = pd.read_csv('combined_csv.csv', engine='python')

Но это выдает ошибку, выполнение которой прервано.

Любая помощь будет приветствоваться!

Заранее спасибо!

Answer 1

Это может быть из-за недостатка памяти, вы получили эту ошибку. Вы можете разделить ваши данные на множество фреймов данных, выполнять свою работу, а не объединять их, используя некоторый полезный код, который вы можете использовать:

import pandas as pd

# the number of row in each data frame
# you can put any value here according to your situation
chunksize = 1000

# the list that contains all the dataframes
list_of_dataframes = []

for df in pd.read_csv('combined_csv.csv', chunksize=chunksize):
    # process your data frame here
    # then add the current data frame into the list
    list_of_dataframes.append(df)

# if you want all the dataframes together, here it is
result = pd.concat(list_of_dataframes)