Как развернуть словарь словарей в панду DataFrame для больших словарей?

Question

Рассмотрим следующий словарь словарей в python3.x

dict1 = {4: {4:25, 5:39, 3:42}, 5:{24:94, 252:49, 25:4, 55:923}}

Я бы хотел развернуть это в панде DataFrame.Похоже, есть две опции:

df1 = pd.DataFrame.from_dict(dict1, orient='columns')

print(df1)
        4      5
3    42.0    NaN
4    25.0    NaN
5    39.0    NaN
24    NaN   94.0
25    NaN    4.0
55    NaN  923.0
252   NaN   49.0

, при этом столбцы для этого являются главными словарными ключами 4 и `5 ', индексы строк - это вспомогательные ключи, а значения - вспомогательные значения.

Другой вариант -

df2 = pd.DataFrame.from_dict(dict1, orient='index')
print(df2)
    4     5     3     24    252  25     55 
4  25.0  39.0  42.0   NaN   NaN  NaN    NaN
5   NaN   NaN   NaN  94.0  49.0  4.0  923.0

, в котором столбцы являются ключами внутреннего «под-словаря», индексы строк - это ключи основного словаря, а значения - подкатегориямиключи.

Существует ли стандартный подход, который позволяет нам развернуть словарь python следующим образом?

key inner_key values
4        3      42 
4        4      25
4        5      39
5        24     94
5        25     4
5        55     923
5        252    49

Было бы лучше не манипулировать DataFrame после использования from_dict(), как для гораздо большегоСловари Python, это может стать довольно интенсивным в памяти.

Answer 1

pd.DataFrame([[i,j,user_dict[i][j] ] for i in user_dict.keys() for j in user_dict[i].keys()],columns=['key', 'inner_key', 'values'])

Выход:

   key  inner_key   values
0   4   4           25
1   4   5           39
2   4   3           42
3   5   24          94
4   5   252         49
5   5   25          4
6   5   55         923

Answer 2

Понимание списка

Понимание списка должно быть достаточно эффективным:

dict1 = {4: {4:25, 5:39, 3:42}, 5: {24:94, 252:49, 25:4, 55:923}}

cols = ['key', 'inner_key', 'values']

df = pd.DataFrame([[k1, k2, v2] for k1, v1 in dict1.items() for k2, v2 in v1.items()],
                  columns=cols).sort_values(cols)

print(df)

   key  inner_key  values
2    4          3      42
0    4          4      25
1    4          5      39
3    5         24      94
5    5         25       4
6    5         55     923
4    5        252      49

pd.melt + dropna

Если вы не возражаете работать с df1, вы можете отменить поворот вашего фрейма данных с помощью pd.melt, а затем удалить строки с нулевым value.

df1 = df1.reset_index()

res = pd.melt(df1, id_vars='index', value_vars=[4, 5])\
        .dropna(subset=['value']).astype(int)

print(res)

    index  variable  value
0       3         4     42
1       4         4     25
2       5         4     39
10     24         5     94
11     25         5      4
12     55         5    923
13    252         5     49