Поверните большой пандас в фреймворке - PullRequest
Новая
       5

Поверните большой пандас в фреймворке

0 голосов
/ 04 февраля 2019

У меня довольно большой фрейм данных в несколько гигабайт, и я пытаюсь развернуть фрейм данных.Я продолжаю сталкиваться с ошибкой памяти всякий раз, когда пытаюсь использовать 

pivoted = df.pivot(index = 'column1', columns = 'column2', values = 'column3').fillna(0)

Я пытался использовать чанки, но мне трудно сложить все чанки обратно как одно целое.Наконец, я попытался использовать формат таблицы, используя следующий код, но продолжаю получать ключевые ошибки. 

chunksize = 10**6
filename = 'clean data.csv'
store = pd.HDFStore('store.h5')

for chunk in pd.read_csv(filename, chunksize=chunksize):
    pivoted = df.pivot(index = 'column1', columns = 'column2', values = 'column3').fillna(0)
    #megalist.append(chunk)
    store.append('df', pivoted, format = 't', append=True, data_columns=True)

Что может быть лучшим способом поворота большого кадра данных pandas в несколько гигабайт.

...