Преобразовать список словарей, содержащих другой список словарей в dataframe

Question

Я попытался найти решение, и мне не удалось получить 1. У меня есть следующий вывод из API в Python.

insights = [ <Insights> {
    "account_id": "1234",
    "actions": [
        {
            "action_type": "add_to_cart",
            "value": "8"
        },
        {
            "action_type": "purchase",
            "value": "2"
        }
    ],
    "cust_id": "xyz123",
    "cust_name": "xyz",
}, <Insights> {
    "account_id": "1234",
    "cust_id": "pqr123",
    "cust_name": "pqr",
},  <Insights> {
    "account_id": "1234",
    "actions": [
        {
            "action_type": "purchase",
            "value": "45"
        }
    ],
    "cust_id": "abc123",
    "cust_name": "abc",
 }
 ]

Я хочу что-то вроде фрейма данных

- account_id    add_to_cart purchase    cust_id cust_name
- 1234                    8        2    xyz123  xyz
- 1234                                  pqr123  pqr
- 1234                            45    abc123  abc

Когда я использую следующее

> insights_1 = [x for x in insights]

> df = pd.DataFrame(insights_1)

Я получаю следующее

- account_id                                       actions  cust_id cust_name
- 1234  [{'value': '8', 'action_type': 'add_to_cart'},{'value': '2', 'action_type': 'purchase'}]                                    xyz123  xyz
- 1234                                              NaN     pqr123  pqr
- 1234  [{'value': '45', 'action_type': 'purchase'}]        abc123  abc

Как мне двигаться дальше с этим?

Answer 1

Это одно решение.

df = pd.DataFrame(insights)

parts = [pd.DataFrame({d['action_type']: d['value'] for d in x}, index=[0])
         if x == x else pd.DataFrame({'add_to_cart': [np.nan], 'purchase': [np.nan]})
         for x in df['actions']]

df = df.drop('actions', 1)\
       .join(pd.concat(parts, axis=0, ignore_index=True))

print(df)

  account_id cust_id cust_name add_to_cart purchase
0       1234  xyz123       xyz           8        2
1       1234  pqr123       pqr         NaN      NaN
2       1234  abc123       abc         NaN       45

Объяснение

• Использование pandas для чтения внешнего списка словарей в информационный кадр.
• Для внутренних словарей используйте понимание списка вместе с пониманием словаря.
• Учет nan значений путем проверки на равенство в пределах понимания списка.
• Объединить и соединить детали с исходным кадром данных.

Пояснение - деталь

Это детали конструкции и использования parts:

1. Взять каждую запись в df['actions']; каждая запись будет списком словарей .
2. Итерируйте их один за другим, то есть по строке, в цикле for.
3. Часть else говорит, что «если это np.nan [то есть ноль], тогда верните фрейм данных nan с». Часть if берет список словарей и создает мини-фрейм данных для каждой строки .
4. Затем мы используем следующую часть, чтобы объединить эти мини-словари, по одному для каждой строки, и присоединить их к исходному фрейму данных.

Answer 2

Я думаю, что использование apply для вашего df будет вариантом. Сначала я бы заменил NaN пустым списком:

df['actions'][df['actions'].isnull()] = df['actions'][df['actions'].isnull()].apply(lambda x: [])

Вы создаете функцию add_to_cart для чтения в списке действий, если тип add_to_cart, и используете apply для создания столбца:

def add_to_cart(list_action):
    for action in list_action:
        # for each action, see if the key action_type has the value add_to_cart and return the value
        if action['action_type'] == 'add_to_cart':
            return action['value']
    # if no add_to_cart action, then empty
    return ''

df['add_to_cart'] = df['actions'].apply(add_to_cart)

Та же идея для purchase:

def purchase(list_action):
    for action in list_action:
        if action['action_type'] == 'purchase':
            return action['value']
    return ''

df['purchase'] = df['actions'].apply(purchase)

Тогда вы можете опустить столбец actions, если хотите:

df = df.drop('actions',axis=1)

РЕДАКТИРОВАТЬ: определить уникальную функцию find_action, а затем apply с аргументом, например:

def find_action(list_action, action_type):
    for action in list_action:
        # for each action, see if the key action_type is the one wanted
        if action['action_type'] == action_type:
            return action['value']
    # if not the right action type found, then empty
    return ''
df['add_to_cart'] = df['actions'].apply(find_action, args=(['add_to_cart']))
df['purchase'] = df['actions'].apply(find_action, args=(['purchase']))