Повторные индексы Python Pandas из списка диктов

Question

У меня есть список словарей с двумя ключами.Первый ключ - это общий индекс, а второй ключ - имя столбца.Я хочу преобразовать этот список в объект Pandas DataFrame.Но когда я это делаю, я получаю повторяющиеся строки индекса, где один столбец пуст в каждой строке.

С этим кодом:

import pandas as pd
l = [{'col_a': 0, 'idx': 0},
     {'col_b': 5, 'idx': 0},
     {'col_a': 1, 'idx': 1},
     {'col_b': 6, 'idx': 1},
     {'col_a': 2, 'idx': 2},
     {'col_b': 7, 'idx': 2},
     {'col_a': 3, 'idx': 3},
     {'col_b': 8, 'idx': 3},
     {'col_a': 4, 'idx': 4},
     {'col_b': 9, 'idx': 4}]

df = pd.DataFrame(l)
df = df.set_index('idx')

Я получаю это

     col_a  col_b
idx              
0      0.0    NaN
0      NaN    5.0
1      1.0    NaN
1      NaN    6.0
2      2.0    NaN
2      NaN    7.0
3      3.0    NaN
3      NaN    8.0
4      4.0    NaN
4      NaN    9.0

но я хочу это

         col_a  col_b
    idx              
    0      0.0    5.0
    1      1.0    6.0
    2      2.0    7.0
    3      3.0    8.0
    4      4.0    9.0   

Есть идеи?Спасибо!

Answer 1

Просто возьмите sum с уровнем 0, т.е.

df.sum(level=0)

      col_a  col_b
idx              
0      0.0    5.0
1      1.0    6.0
2      2.0    7.0
3      3.0    8.0
4      4.0    9.0

Answer 2

Вы можете сгруппироваться по idx и взять .first():

In [10]: df
Out[10]: 
   col_a  col_b  idx
0    0.0    NaN    0
1    NaN    5.0    0
2    1.0    NaN    1
3    NaN    6.0    1
4    2.0    NaN    2
5    NaN    7.0    2
6    3.0    NaN    3
7    NaN    8.0    3
8    4.0    NaN    4
9    NaN    9.0    4

In [11]: df.groupby("idx").first()
Out[11]: 
     col_a  col_b
idx              
0      0.0    5.0
1      1.0    6.0
2      2.0    7.0
3      3.0    8.0
4      4.0    9.0

Или позвонить pivot_table:

In [36]: df.pivot_table(index="idx")
Out[36]: 
     col_a  col_b
idx              
0      0.0    5.0
1      1.0    6.0
2      2.0    7.0
3      3.0    8.0
4      4.0    9.0

Answer 3

Ответ DSM отлично подходит для вашего примера, но может привести к потере данных в тех случаях, когда один индекс может иметь несколько значений для col_a.Этот гораздо более длинный код можно использовать для примирения.

import pandas

l = [{'col_a': 0, 'idx': 0},
     {'col_b': 5, 'idx': 0},
     {'col_a': 1, 'idx': 1},
     {'col_b': 6, 'idx': 1},
     {'col_a': 2, 'idx': 2},
     {'col_b': 7, 'idx': 2},
     {'col_a': 3, 'idx': 3},
     {'col_b': 8, 'idx': 3},
     {'col_a': 4, 'idx': 4},
     {'col_b': 9, 'idx': 4}]

# To flatten (unnest) a list with lists
flatten = lambda x: [item for sublist in x for item in sublist]

# Get all unique columns there (in case there are mote then two)
all_unique_cols = list(set(flatten([tuple(x.keys()) for x in l])))
all_unique_cols.remove('idx') # all except the index colname

df = pd.DataFrame()

# For all these columns we'll make a small df, and later join together
for i, col in enumerate(all_unique_cols):
    if i == 0:
        df = pd.DataFrame([x for x in l if col in x.keys()])
    else:
        df_tmp = pd.DataFrame([x for x in l if col in x.keys()])
        df = pd.merge(df, df_tmp, how='outer')

df.set_index('idx')

Answer 4

Как насчет того, чтобы инициализировать значения и индексировать отдельно?

l = []
ix = []
for i in range(5):
    l.append({'col_a':i, 'col_b':i+5})
    ix.append(i)

df = pd.DataFrame(l, index=ix)

OUT

 col_a  col_b
0   0   5
1   1   6
2   2   7
3   3   8
4   4   9