Поиск во вложенном json / dict множественных значений ключей, соответствующих указанным ключам

Question

У меня есть объект Python с несколькими слоями диктов и списков, которые содержат ключи, от которых мне нужно получить значения.Я нашел ответ , использующий рекурсивные генераторы, которые позволят мне получить значение одного ключа, но не нескольких ключей.Вот код:

with open('data.json') as f:
    json_data = json.load(f)

def find_key(obj, key):
    if isinstance(obj, dict):
        yield from iter_dict(obj, key, [])
    elif isinstance(obj, list):
        yield from iter_list(obj, key, [])

def iter_dict(d, key, indices):
    for k, v in d.items():
        if k == key:
            yield indices + [k], v
        if isinstance(v, dict):
            yield from iter_dict(v, key, indices + [k])
        elif isinstance(v, list):
            yield from iter_list(v, key, indices + [k])

def iter_list(seq, key, indices):
    for k, v in enumerate(seq):
        if isinstance(v, dict):
            yield from iter_dict(v, key, indices + [k])
        elif isinstance(v, list):
            yield from iter_list(v, key, indices + [k])


for c in find_key(json_data, 'customer_count'):
    print(c)

Результат:

(['calendar', 'weeks', 0, 'days', 1, 'availabilities', 0, 'customer_count'], 14)
(['calendar', 'weeks', 0, 'days', 2, 'availabilities', 0, 'customer_count'], 7)

Другой post имеет пример для извлечения нескольких ключей, но не обрабатывает весь объект:

[...]
keys = ("customer_count", "utc_start_at", "non_resource_bookable_capacity")
for k in keys:
    keypath, val = next(find_key(json_data, k))
    print("{!r}: {!r}".format(k, val))

Результат:

'customer_count': 14
'utc_start_at': '2018-09-29T16:45:00+0000'
'non_resource_bookable_capacity': 18

Как перебрать весь объект и извлечь три ключа, показанные выше?

Мой желаемый результат будет выглядеть примерно так:

'customer_count': 14
'utc_start_at': '2018-09-29T16:45:00+0000'
'non_resource_bookable_capacity': 18

'customer_count': 7
'utc_start_at': '2018-09-29T16:45:00+0000'
'non_resource_bookable_capacity': 25

образец JSON

Answer 1

В приведенном ниже примере функции выполняется поиск в файле dict (включая все вложенные) в парах ключ / значение, соответствующих списку ключей, которые вы хотите найти.Эта функция рекурсивно проходит по циклам dict и любым вложенным dicts и содержит списки, которые она содержит, чтобы создать список всех возможных dicts, которые нужно проверить на соответствие ключей.

def find_key_value_pairs(q, keys, dicts=None):
    if not dicts:
        dicts = [q]
        q = [q]  

    data = q.pop(0)
    if isinstance(data, dict):
        data = data.values()

    for d in data:
        dtype = type(d)
        if dtype is dict or dtype is list:
            q.append(d)
            if dtype is dict:
                dicts.append(d)

    if q:
        return find_key_value_pairs(q, keys, dicts)

    return [(k, v) for d in dicts for k, v in d.items() if k in keys]

В приведенном ниже примере используется json.loads для преобразования примера набора данныхпохож на ваш json на dict перед передачей его функции.

import json

json_data = """
{"results_count": 2, "results": [{"utc_start_at": "2018-09-29T16:45:00+0000", "counts": {"customer_count": "14", "other_count": "41"}, "capacity": {"non-resource": {"non_resource_bookable_capacity": "18", "other_non_resource_capacity": "1"}, "resource_capacity": "10"}}, {"utc_start_at": "2018-10-29T15:15:00+0000", "counts": {"customer_count": "7", "other_count": "41"}, "capacity": {"non-resource": {"non_resource_bookable_capacity": "25", "other_non_resource_capacity": "1"}, "resource_capacity": "10"}}]}
"""
data = json.loads(json_data) # json_data is a placeholder for your json
keys = ['results_count', 'customer_count', 'utc_start_at', 'non_resource_bookable_capacity']
results = find_key_value_pairs(data, keys)
for k, v in results:
    print(f'{k}: {v}')
# results_count: 2
# utc_start_at: 2018-09-29T16:45:00+0000
# utc_start_at: 2018-10-29T15:15:00+0000
# customer_count: 14
# customer_count: 7
# non_resource_bookable_capacity: 18
# non_resource_bookable_capacity: 25