Извлечение вложенных столбцов с использованием Python - PullRequest
0 голосов
/ 06 ноября 2018

Я часами пытался разложить вложенные столбцы в моем фрейме данных из файла json, но все еще не мог заставить его работать.

Я запросил сайт с помощью GraphQl и загрузил ответ в переменную json:

json = resp.json()

Затем я загрузил данные в фрейм данных, используя json_normalize:

df = pd.DataFrame.from_dict(json_normalize(resp.json()), orient='columns')

Я переименовал столбцы.

Однако внутри фрейма данных все еще были вложенные столбцы, а именно «правила» и «этажи»: enter image description here enter image description here

Затем я попытался расстелить столбцы с помощью нескольких подходов, которые я видел здесь для stackoverflow, а также в других местах в Интернете:

Я пробовал вложенный столбец json_normalize в разных версиях, а также с метаданными, но ни один из способов вызова определенных значений не работал:

  json_normalize(json, ['floors', ['units'],['features']])

и это:

 json_normalize(data=json, record_path=['floors', 'units','features'])

Однако в большинстве случаев я получил TypeError: строковые индексы должны быть целыми числами.

Я попытался присвоить значения отдельно столбцам, но это не удалось в тех случаях, когда некоторые из них были NUll

df['pets allowed'] = json['data']['offerAggregate']['property_aggregate']['property']['rules']['code' == 'pets-allowed']['exists']

Я также попытался разбить столбцы по ключевым словам, таким как «Код», но это только вернуло Null

Оптимально, я бы хотел, чтобы вариант № 1 работал, но я действительно перепробовал так много версий и все еще не получил результата, так как я не уверен, как правильно определить путь к вложенному столбцу.

Вот полная схема:

{'data': {'offerAggregate': {'accommodation_offer': {'contract': {'type': 'fortnight',
     'exclusive': False,
     'is_instant_booking': False,
     'commission': 0.08,
     'deposit': {'pay_to': 'accommodation-provider',
      'type': 'equal-to-first-payment',
      'value': {'amount': 0, 'currency_code': ''}},
     'admin_fee': {'exact_value': True,
      'value': {'amount': 0, 'currency_code': 'EUR'}},
     'fixed_unitary': {'extra_per_guest': {'amount': 0, 'currency_code': ''}}},
    'reference_price': {'amount': '25000', 'currency_code': 'EUR'},
    'requisites': {'conditions': {'cancellation_policy': 'moderate',
      'minimum_nights': 27,
      'max_guests': 2}},
    'costs': {'bills': {'water': {'included': True},
      'electricity': {'included': True},
      'gas': {'included': True},
      'internet': {'included': True}},
     'services': {'cleaning': {'periodicity': 'weekly'}}}},
   'accommodation_provider': {'stats': {'bookings': {'accepted': {'total': 2},
      'requested': {'total': 10},
      'rejected': {'total': 1},
      'confirmed': {'total': 0}}},
    'created': {'at': '2018-11-02 16:51:22'}},
   'property_aggregate': {'property': {'id': '114087',
     'landlord_resident': {'gender': '', 'age_range': '', 'occupation': ''},
     'floors': [{'units': [{'features': [{'Code': 'fridge', 'Exists': True},
          {'Code': 'freezer', 'Exists': True},
          {'Code': 'oven', 'Exists': True},
          {'Code': 'stove', 'Exists': True},
          {'Code': 'washing-machine', 'Exists': True},
          {'Code': 'window', 'Exists': True},
          {'Code': 'balcony', 'Exists': False},
          {'Code': 'table', 'Exists': True},
          {'Code': 'chairs', 'Exists': True}]},
        {'features': [{'Code': 'bathtub', 'Exists': False},
          {'Code': 'shower', 'Exists': True},
          {'Code': 'sink', 'Exists': True},
          {'Code': 'toilet', 'Exists': True},
          {'Code': 'window', 'Exists': True}]},
        {'features': [{'Code': 'wardrobe', 'Exists': True},
          {'Code': 'chest-of-drawers', 'Exists': False},
          {'Code': 'desk', 'Exists': True},
          {'Code': 'chairs', 'Exists': True},
          {'Code': 'sofa', 'Exists': False},
          {'Code': 'sofa-bed', 'Exists': False},
          {'Code': 'window', 'Exists': True},
          {'Code': 'balcony', 'Exists': False},
          {'Code': 'tv', 'Exists': False},
          {'Code': 'lock', 'Exists': True}]},
        {'features': [{'Code': 'wardrobe', 'Exists': True},
          {'Code': 'chest-of-drawers', 'Exists': False},
          {'Code': 'desk', 'Exists': True},
          {'Code': 'chairs', 'Exists': True},
          {'Code': 'sofa', 'Exists': False},
          {'Code': 'sofa-bed', 'Exists': False},
          {'Code': 'window', 'Exists': True},
          {'Code': 'balcony', 'Exists': True},
          {'Code': 'tv', 'Exists': False},
          {'Code': 'lock', 'Exists': True}]},
        {'features': [{'Code': 'wardrobe', 'Exists': True},
          {'Code': 'chest-of-drawers', 'Exists': False},
          {'Code': 'desk', 'Exists': False},
          {'Code': 'chairs', 'Exists': False},
          {'Code': 'sofa', 'Exists': False},
          {'Code': 'sofa-bed', 'Exists': False},
          {'Code': 'window', 'Exists': True},
          {'Code': 'balcony', 'Exists': False},
          {'Code': 'tv', 'Exists': False},
          {'Code': 'lock', 'Exists': True}]},
        {'features': [{'Code': 'wardrobe', 'Exists': True},
          {'Code': 'chest-of-drawers', 'Exists': False},
          {'Code': 'desk', 'Exists': False},
          {'Code': 'chairs', 'Exists': False},
          {'Code': 'sofa', 'Exists': False},
          {'Code': 'sofa-bed', 'Exists': False},
          {'Code': 'window', 'Exists': True},
          {'Code': 'balcony', 'Exists': True},
          {'Code': 'tv', 'Exists': False},
          {'Code': 'lock', 'Exists': True}]}]}],
     'rules': [{'code': 'overnight-guests-allowed', 'exists': False},
      {'code': 'pets-allowed', 'exists': False},
      {'code': 'smoking-allowed', 'exists': False}],
     'typology': {'area': 0,
      'accommodation_type_code': 'private',
      'type_code': 'apartment',
      'number_of_bedrooms': 4,
      'number_of_bathrooms': 1},
     'location': {'neighborhood_id': 229,
      'geo': {'latitude': 38.7514768, 'longitude': -9.2031683},
      'address': {'postal_code': '1500-109'}},
     'verification': {'verified': True}}}}}}

Спасибо, что уделили время заранее! Любая помощь высоко ценится!

1 Ответ

0 голосов
/ 06 ноября 2018

Причина, по которой json_normalize останавливается на floors и rules, заключается в том, что они содержат lists вместо dictionaries, чего и ждет json_normalize.

Чтобы нормализовать этот json, вам нужно будет преобразовать эти списки в словарные структуры. Так, например, для правил вместо этой структуры:

[{'code': 'overnight-guests-allowed', 'exists': False},
  {'code': 'pets-allowed', 'exists': False},
  {'code': 'smoking-allowed', 'exists': False}]

Вам понадобится эта структура:

{'overnight-guests-allowed': False,
 'pets-allowed': False},
 'smoking-allowed': False}
Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...