Как мне разобрать этот вложенный объект JSON?

Question

У меня есть набор данных в формате данных, который выглядит следующим образом:

[{'session_id': ['X061RFWB06K9V'],
  'unix_timestamp': [1442503708],
  'cities': ['New York NY, Newark NJ'],
  'user': [[{'user_id': 2024,
     'joining_date': '2015-03-22',
     'country': 'UK'}]]},
 {'session_id': ['5AZ2X2A9BHH5U'],
  'unix_timestamp': [1441353991],
  'cities': ['New York NY, Jersey City NJ, Philadelphia PA'],
  'user': [[{'user_id': 2853,
     'joining_date': '2015-03-28',
     'country': 'DE'}]]},
 {'session_id': ['SHTB4IYAX4PX6'],
  'unix_timestamp': [1440843490],
  'cities': ['San Antonio TX'],
  'user': [[{'user_id': 10958,
     'joining_date': '2015-03-06',
     'country': 'UK'}]]}

Я использую панды и обрабатываю ее, и когда я использую read_json, я получаю следующее:

          cities                  session_id    unix_timestamp                  user
0   [New York NY, Newark NJ]    [X061RFWB06K9V] [1442503708]    [[{'user_id': 2024, 'joining_date': '2015-03-2...
1   [New York NY, Jersey City NJ, Philadelphia PA]  [5AZ2X2A9BHH5U] [1441353991]    [[{'user_id': 2853, 'joining_date': '2015-03-2...
2   [San Antonio TX]    [SHTB4IYAX4PX6] [1440843490]    [[{'user_id': 10958, 'joining_date': '2015-03-...

Как мне обработать эти данные, чтобы они были в лучшем формате?Вот определение данных:

Столбцы:

• session_id: идентификатор сеанса.
• unix_timestamp: метка времени начала сеанса Unix
• cities: уникальные города, которые были найдены в одном сеансе
• user:
  • user_id: идентификатор пользователя
  • joining_date: когда пользователь создал учетную запись
  • country: где находится пользователь

Я пытался использовать json_normalize, но получаю ошибку:

AttributeError: у объекта 'int' нет атрибута 'values'

, а также разных типовошибки.Пожалуйста, помогите

Answer 1

Вы можете использовать функцию, которая полностью сгладит ее, а затем восстановить ваш фрейм данных:

import re
import pandas as pd
import numpy as np

jsonData = [{'session_id': ['X061RFWB06K9V'],
  'unix_timestamp': [1442503708],
  'cities': ['New York NY, Newark NJ'],
  'user': [[{'user_id': 2024,
     'joining_date': '2015-03-22',
     'country': 'UK'}]]},
 {'session_id': ['5AZ2X2A9BHH5U'],
  'unix_timestamp': [1441353991],
  'cities': ['New York NY, Jersey City NJ, Philadelphia PA'],
  'user': [[{'user_id': 2853,
     'joining_date': '2015-03-28',
     'country': 'DE'}]]},
 {'session_id': ['SHTB4IYAX4PX6'],
  'unix_timestamp': [1440843490],
  'cities': ['San Antonio TX'],
  'user': [[{'user_id': 10958,
     'joining_date': '2015-03-06',
     'country': 'UK'}]]} ]



def flatten_json(y):
    out = {}
    def flatten(x, name=''):
        if type(x) is dict:
            for a in x:
                flatten(x[a], name + a + '_')
        elif type(x) is list:
            i = 0
            for a in x:
                flatten(a, name + str(i) + '_')
                i += 1
        else:
            out[name[:-1]] = x
    flatten(y)
    return out

flat = flatten_json(jsonData)


results = pd.DataFrame()
columns_list = list(flat.keys())
for item in columns_list:
    row_idx = re.findall(r'(\d+)\_', item )[0]
    column = item.replace(row_idx+'_', '',1)
    column = column.replace('_0', '')
    row_idx = int(row_idx)
    value = flat[item]

    results.loc[row_idx, column] = value

# If you don't want to expand/split the `cities` column, remove line below
results = results.join(results['cities'].str.split(',', expand=True).add_prefix('cities_').fillna(np.nan))

print (results)

Выход:

print (results.to_string())
      session_id  unix_timestamp                                        cities  user_user_id user_joining_date user_country        cities_0         cities_1          cities_2
0  X061RFWB06K9V    1.442504e+09                        New York NY, Newark NJ        2024.0        2015-03-22           UK     New York NY        Newark NJ               NaN
1  5AZ2X2A9BHH5U    1.441354e+09  New York NY, Jersey City NJ, Philadelphia PA        2853.0        2015-03-28           DE     New York NY   Jersey City NJ   Philadelphia PA
2  SHTB4IYAX4PX6    1.440843e+09                                San Antonio TX       10958.0        2015-03-06           UK  San Antonio TX              NaN               NaN