Как преобразовать мультикадровые данные Pandas в Dask Dataframe - PullRequest
Новая
       29

Как преобразовать мультикадровые данные Pandas в Dask Dataframe

0 голосов
/ 02 июля 2019

Я пытаюсь преобразовать фрейм данных pandas с мультииндексом для двух переменных (ID и переменная DateTime) в dask dataframe, однако я получаю следующую ошибку;

"NotImplementedError: Dask does not support MultiIndex Dataframes"

Я использую следующий код 

import pandas as pd
import dask.dataframe as dd

dask_df = dd.from_pandas(pandas_df)

На самом деле у меня более 700 фреймов данных панд (каждый более 100 МБ). Я планирую конвертировать каждый фрейм данных панд в dask, а затемдобавьте их все в один большой кадр данных, чтобы проанализировать все данные.Я думаю, что MultiIndex - единственная проблема здесь.Пожалуйста, дайте мне знать, если я поступаю неправильно.

1 Ответ

1 голос
/ 02 июля 2019

В настоящее время Dask DataFrame не поддерживает фреймы данных с мультииндексами.

Возможно, вы захотите преобразовать все столбцы индекса, кроме одного, в обычные столбцы с reset_index.

...