Как я могу экспортировать и импортировать pandas фрейм данных с многоиндексным индексом строки и столбца в / из файла csv?

Question

Pandas позволяет экспортировать кадры данных в csv с to_csv('path/to/file.csv'). Однако для меня неясно, как я могу экспортировать (и импортировать) фрейм данных, который использует MultiIndex для строк и столбцов, как, например, этот из соответствующих расширенных документов :

first              bar                 baz                 foo          
second             one       two       one       two       one       two
first second                                                            
bar   one    -0.410001 -0.078638  0.545952 -1.219217 -1.226825  0.769804
      two    -1.281247 -0.727707 -0.121306 -0.097883  0.695775  0.341734
baz   one     0.959726 -1.110336 -0.619976  0.149748 -0.732339  0.687738
      two     0.176444  0.403310 -0.154951  0.301624 -2.179861 -1.369849
foo   one    -0.954208  1.462696 -1.743161 -0.826591 -0.345352  1.314232
      two     0.690579  0.995761  2.396780  0.014871  3.357427 -0.317441

Чтобы сгенерировать такой блок данных со случайными значениями данных в записной книжке Jupyter:

import pandas as pd
import numpy as np

column_index_matrix = [np.array(['bar', 'bar', 'baz', 'baz', 'foo', 'foo']),
                       np.array(['one', 'two', 'one', 'two', 'one', 'two'])]
column_names = ['first', 'second']
column_multiindex = pd.MultiIndex.from_arrays(column_index_matrix, names=column_names)
column_multiindex

row_multiindex = column_multiindex

df = pd.DataFrame(np.random.randn(6, 6), index=row_multiindex, columns=column_multiindex)
df

При выполнении df.to_csv(r'df.csv', index=True) кадр данных правильно экспортируется в файл csv , Однако я не знаю, как использовать pd.read_csv().

Answer 1

Вы можете передать несколько столбцов / строк для использования в качестве индекса / заголовка. Здесь я пропускаю 0-й и 1-й столбцы, которые будут использоваться для индекса (поэтому два уровня), а 0-й и 1-й ряды будут использоваться для двух уровней заголовка:

pd.read_csv('data.csv', index_col=[0, 1], header=[0, 1])

first              bar                 baz                 foo          
second             one       two       one       two       one       two
first second                                                            
bar   one     0.788793 -0.591498 -0.309037 -0.433105 -1.413536 -0.209560
      two    -0.354429  1.671837  1.527225  0.282775 -0.973088 -0.728555
baz   one    -0.180517  1.226219 -0.810984 -0.580251 -0.453205 -1.368015
      two    -0.040708 -0.836359 -2.043332  1.396955 -0.562718 -1.099926
foo   one    -0.612561  0.815998 -0.942997 -0.423395  0.157410 -0.537063
      two    -0.312878  0.194915 -1.420048 -0.944414 -0.560043 -0.036713

Answer 2

Я пытался раньше, но в конце концов решил, что лучше:

• развернуть весь столбец multiindex
• reset_index
• to_csv

и затем:

• read_csv
• pivot_table

Кажется, что проще, но, вероятно, занимает больше памяти.