Панды - Создать DF из списка диктов

Question

У меня есть данные в следующем формате (список диктов, каждый из которых содержит список из 3 списков):

[{40258: [['2018-07-03T14:13:41'], ['Open'], ['Closed']]},
 {40257: [['2018-07-03T13:47:55',
    '2018-07-03T14:21:52',
    '2018-07-04T11:56:44'],
   ['Open', 'In Progress', 'Waiting on 3rd Party'],
   ['In Progress', 'Waiting on 3rd Party', 'In Progress']]},
 {40255: [['2018-07-03T13:12:58'], ['Open'], ['Closed']]},
 {40250: [[], [], []]}]

Я бы хотел, чтобы вышеприведенное значение было преобразовано в следующий df:

key    List1-1              List1-2            List1-3               List2-1     List2-2          List2-3                 List3-1         List3-2                   List3-3
40258  2018-07-03T14:13:41  nan                nan                   'Open'      nan              nan                     'Closed'        nan                       nan
40257  2018-07-03T13:47:55 2018-07-03T14:21:52 2018-07-04T11:56:44   'Open'     'In Progress'    'Waiting on 3rd Party'   'In Progress'   'Waiting on 3rd Party'   'In Progress'
40255  2018-07-03T13:12:58  nan                nan                   'Open'      nan              nan                     'Closed'        nan                       nan
40250  nan                  nan                nan                    nan        nan              nan                      nan            nan                       nan

• Каждый ключ - это строка, а каждый элемент списка - это столбец.
• Внешний список содержит 50 000 диктов, которые должны быть разбиты на строки.
• Всегда есть ровно 3 внутренних списка.
• Внутренние списки имеют переменную длину - от 0 до максимум 25.

Я пробовал простые pd.DataFrame и pd.DataFrame.from_dict, но не могу найти решения, которые бы работали с несколькими списками внутри dict.

Любая помощь очень ценится.

Answer 1

data=[{40258: [['2018-07-03T14:13:41'], ['Open'], ['Closed']]},
 {40257: [['2018-07-03T13:47:55',
     '2018-07-03T14:21:52',
     '2018-07-04T11:56:44'],
    ['Open', 'In Progress', 'Waiting on 3rd Party'],
    ['In Progress', 'Waiting on 3rd Party', 'In Progress']]},
  {40255: [['2018-07-03T13:12:58'], ['Open'], ['Closed']]},
  {40250: [[], [], []]}]

f = lambda x: x + [np.nan]*(3-len(x))
mod_data = [ [k]+ sum(list(map(f, v)), []) for d in data for k,v in d.items()]

cols = ['key', 'List1-1', 'List1-2', 'List1-3', 'List2-1', 'List2-2', 'List2-3', 'List3-1', 'List3-2', 'List3-3']
df = pd.DataFrame(mod_data, columns=cols).set_index('key')
print(df)

выход

                   List1-1              List1-2              List1-3 List2-1      List2-2               List2-3      List3-1               List3-2      List3-3
key                                                                                                                                                            
40258  2018-07-03T14:13:41                  NaN                  NaN    Open          NaN                   NaN       Closed                   NaN          NaN
40257  2018-07-03T13:47:55  2018-07-03T14:21:52  2018-07-04T11:56:44    Open  In Progress  Waiting on 3rd Party  In Progress  Waiting on 3rd Party  In Progress
40255  2018-07-03T13:12:58                  NaN                  NaN    Open          NaN                   NaN       Closed                   NaN          NaN
40250                  NaN                  NaN                  NaN     NaN          NaN                   NaN          NaN                   NaN          NaN

Answer 2

Я все равно поделюсь своим решением:

from numpy import nan
mess = [{40258: [['2018-07-03T14:13:41'], ['Open'], ['Closed']]},
 {40257: [['2018-07-03T13:47:55',
    '2018-07-03T14:21:52',
    '2018-07-04T11:56:44'],
   ['Open', 'In Progress', 'Waiting on 3rd Party'],
   ['In Progress', 'Waiting on 3rd Party', 'In Progress']]},
 {40255: [['2018-07-03T13:12:58'], ['Open'], ['Closed']]},
 {40250: [[], [], []]}]

master = dict()
for dicto in mess:
    key = list(dicto.keys())[0]
    master[key] = {('List{}-{}'.format(j+1,i+1)): (dicto[key][j][i] if i < len(dicto[key][j]) else nan ) for i in range(3) for j in range(3)}
output = pd.DataFrame.from_records(master, columns=list(master.keys())).T
print(output.to_string())

Выход:

                   List1-1              List1-2              List1-3 List2-1      List2-2               List2-3      List3-1               List3-2      List3-3
40258  2018-07-03T14:13:41                  NaN                  NaN    Open          NaN                   NaN       Closed                   NaN          NaN
40257  2018-07-03T13:47:55  2018-07-03T14:21:52  2018-07-04T11:56:44    Open  In Progress  Waiting on 3rd Party  In Progress  Waiting on 3rd Party  In Progress
40255  2018-07-03T13:12:58                  NaN                  NaN    Open          NaN                   NaN       Closed                   NaN          NaN
40250                  NaN                  NaN                  NaN     NaN          NaN                   NaN          NaN                   NaN          NaN

Answer 3

Создание списка списков, а затем создание df с использованием pd.dataFrame (данные, столбцы) - это то, что кажется самым простым вариантом.

# First calculate the length of maximum list in the dictionary
# Let that be lmax
data = []
for elem in dict :
    for key in elem :  # Note that only one key is there
        lst = elem[key] # z is the list
        data_curr = [np.nan] * (3*len(lmax) + 1)
        data_curr[0] = elem
        l = len(lst[0])
        for i in range(0,l) :
             data_curr[3*i+1] = z[0][i]
             data_curr[3*i+2] = z[1][i]
             data_curr[3*i+3] = z[2][i]
        data.append(data_curr]

columns = ['key','List1-1,List1-2','List1-3','List2-1','List2-2','List2-3','List3-1','List3-2','List3-3']
df = pd.DataFrame(data,columns=columns)

Я надеюсь, вы поняли