Конвертировать список идентичных словарей в Dataframe

Question

У меня есть такой список:

[{'FirstOfficer': '1'}, {'SecondOfficer': '2'}, {'ThirdOfficer': '3'},{'FirstOfficer': '4'}, {'SecondOfficer': '5'}, {'ThirdOfficer': '6'},{'FirstOfficer': '7'}, {'SecondOfficer': '8'}, {'ThirdOfficer': '9'},{'FirstOfficer': '10'}, {'SecondOfficer': '11'}, {'ThirdOfficer': '12'}]

Я хотел преобразовать это в фрейм данных, но получил фрейм данных так:

   FirstOfficer SecondOfficer ThirdOfficer
0             1           NaN          NaN
1           NaN             2          NaN
2           NaN           NaN            3
3             4           NaN          NaN
4           NaN             5          NaN
5           NaN           NaN            6
6             7           NaN          NaN
7           NaN             8          NaN
8           NaN           NaN            9
9            10           NaN          NaN
10          NaN            11          NaN
11          NaN           NaN           12

имя столбца может быть любымпоэтому я не могу его жестко закодировать.

Ожидаемый фрейм данных:

   FirstOfficer SecondOfficer ThirdOfficer
0             1           2          3
1             4           5          6
2             7           8          9
3            10          11         12

Кто-нибудь может мне предложить решение для этого?

Любая помощь будет признательна.

Answer 1

Используйте defaultdict для хранения значений в списках по ключам словарей:

from collections import defaultdict

d = defaultdict(list)
for x in L:
    a, b = tuple(x.items())[0]
    d[a].append(b)
print (d)


df = pd.DataFrame(d)
print (df)
  FirstOfficer SecondOfficer ThirdOfficer
0            1             2            3
1            4             5            6
2            7             8            9
3           10            11           12

Answer 2

Если производительность не является проблемой, вы можете использовать:

df=pd.DataFrame(l).apply(lambda x: pd.Series(x.dropna().values))
print(df)

---

  FirstOfficer SecondOfficer ThirdOfficer
0            1             2            3
1            4             5            6
2            7             8            9
3           10            11           12

Answer 3

Один из подходов - предварительно обработать ваш список

Ex:

import pandas as pd

lst = [{'FirstOfficer': '1'}, {'SecondOfficer': '2'}, {'ThirdOfficer': '3'},{'FirstOfficer': '4'}, {'SecondOfficer': '5'}, {'ThirdOfficer': '6'},{'FirstOfficer': '7'}, {'SecondOfficer': '8'}, {'ThirdOfficer': '9'},{'FirstOfficer': '10'}, {'SecondOfficer': '11'}, {'ThirdOfficer': '12'}]

data = []
for i in range(0, len(lst), 3):
    temp = []
    for d in lst[i:i+3]:
        for _, v in d.items():
            temp.append(v)
    data.append(temp)

df = pd.DataFrame(data, columns=["FirstOfficer", "SecondOfficer", "ThirdOfficer"]) 
print(df)

Выход:

  FirstOfficer SecondOfficer ThirdOfficer
0            1             2            3
1            4             5            6
2            7             8            9
3           10            11           12

Answer 4

d = [{'FirstOfficer': '1'}, {'SecondOfficer': '2'}, {'ThirdOfficer': '3'}, {'FirstOfficer': '4'}, {'SecondOfficer': '5'}, {'ThirdOfficer': '6'}, {'FirstOfficer': '7'}, {'SecondOfficer': '8'}, {'ThirdOfficer': '9'}, {'FirstOfficer': '10'}, {'SecondOfficer': '11'}, {'ThirdOfficer': '12'}]

keys = list(set([str(i.keys()).split("'")[1] for i in d]))
final_dict = dict()
for key in keys:
    final_dict['key'] = [i[key] for i in d if key in i.keys()]
df = pd.DataFrame.from_dict(final_dict)

ВЫХОД:

  FirstOfficer SecondOfficer ThirdOfficer
0            1             2            3
1            4             5            6
2            7             8            9
3           10            11           12