Нормализуйте вложенные JSON данные с помощью Pandas / Python - PullRequest
Новая
       13

Нормализуйте вложенные JSON данные с помощью Pandas / Python

0 голосов
/ 09 марта 2020

Я пытаюсь нормализовать аналогичные примеры данных 

{
  "2018-04-26 10:09:33": [
    {
      "user_id": "M8BE957ZA",
      "ts": "2018-04-26 10:06:33",
      "message": "Hello"
    }
  ],
  "2018-04-27 19:10:55": [
    {
      "user_id": "M5320QS1X",
      "ts": "2018-04-27 19:10:55",
      "message": "Thank you"
    }
  ],

Я знаю, что могу использовать json_normalize(data,'2018-04-26 10:09:33',record_prefix= '') для создания таблицы в pandas, но дата / время постоянно меняются. Как я могу это нормализовать, чтобы я следовал? Любые предложения 

                          user_id.        ts                    message

2018-04-26 10:09:33       M8BE957ZA.      2018-04-26 10:06:33.  Hello
2018-04-26 10:09:33       M5320QS1X       2018-04-27 19:10:55.  Thank you

1 Ответ

1 голос
/ 10 марта 2020 
test = {
  "2018-04-26 10:09:33": [
    {
      "user_id": "M8BE957ZA",
      "ts": "2018-04-26 10:06:33",
      "message": "Hello"
    }
  ],
  "2018-04-27 19:10:55": [
    {
      "user_id": "M5320QS1X",
      "ts": "2018-04-27 19:10:55",
      "message": "Thank you"
    }
  ]}
df = pd.DataFrame(test).melt()


    variable            value
0   2018-04-26 10:09:33 {'user_id': 'M8BE957ZA', 'ts': '2018-04-26 10:...
1   2018-04-27 19:10:55 {'user_id': 'M5320QS1X', 'ts': '2018-04-27 19:...

Прочитайте в своем кадре данных как ваш диктант, затем растопите его, чтобы получить указанную выше структуру. Затем вы можете использовать json_normalize в столбце значений, а затем присоединить его к столбцу переменных следующим образом: 

df.join(json_normalize(df['value'])).drop(columns = 'value').rename(columns = {'variable':'date'})

    date                user_id     ts                  message
0   2018-04-26 10:09:33 M8BE957ZA   2018-04-26 10:06:33 Hello
1   2018-04-27 19:10:55 M5320QS1X   2018-04-27 19:10:55 Thank you
...