Поиск общих значений для данного ключа в dict, где каждое значение является набором

Question

У меня есть два файла, созданные из CSV-файлов (см. Файл ниже):

a_data = {
    '78567908': {'26.01.21', '02.03.24', '26.01.12', '02.03.01', '04.03.03', '01.01.13', '01.01.10', '26.01.17'},
    '85789070': {'02.03.17', '02.05.01', '02.05.04', '26.01.02', '09.01.04'},
    '87140110': {'03.15.19', '03.15.25', '03.15.24'},
    '87142218': {'26.17.13', '02.03.22', '02.11.01'},
    '87006826': {'28.01.03'}
}

p_data = {
    '78567908': {'24.11.01', '26.01.21', '24.11.02', '02.03.24', '02.03.01', '04.03.03', '01.01.13', '26.01.18', '01.01.10'},
    '85789070': {'02.05.05', '02.03.17', '02.05.24', '02.05.01', '02.05.04', '26.01.02', '09.01.04'},
    '87140110': {'03.15.19', '03.15.25', '03.15.10', '03.15.24'},
    '87142218': {'26.17.13', '02.03.22', '02.11.01', '02.03.02', '02.03.24', '02.11.13'},
    '87006826': {'28.01.03'}
}

Я пытаюсь сравнить p_data с a_data. Я хочу знать для каждого ключа в a_data & p_data, что такое пересечение и какие значения находятся в a_data, но не в p_data.

для ключа 78567908, p_data имеет 6 из 8 значений.Общие значения

01.01.10
01.01.13
02.03.01
02.03.24
04.03.03
26.01.21

, а пропущенные значения

26.01.12
26.01.17

CSV-файлы выглядят так:

78567908,01.01.10,01.01.13,02.03.01,02.03.24,04.03.03,26.01.12,26.01.17,26.01.21
85789070,02.03.17,02.05.01,02.05.04,09.01.04,26.01.02
87140110,03.15.19,03.15.24,03.15.25
87142218,02.03.22,02.11.01,26.17.13
87006826,28.01.03

Я создал dicts с использованием этого кода:

a_data = {}
with open(cvsfile) as fin:
    reader = csv.reader(fin, skipinitialspace=True)
    for row in reader:
        a_data[row[0]]=set(row[1:])

Если есть лучший способ, чем диктовать (например, фреймы данных), чтобы прийти в качестве одного и того же продукта, я приму это в качестве ответа.До сих пор мне удалось создать только два словаря или фрейма данных, но без сравнения двух фреймов / фреймов данных.

Answer 1

Вы можете попробовать это используя панды:

import pandas as pd
a_data = {'78567908': {'26.01.21', '02.03.24', '26.01.12', '02.03.01', '04.03.03', '01.01.13', '01.01.10', '26.01.17'}, '85789070': {'02.03.17', '02.05.01', '02.05.04', '26.01.02', '09.01.04'}, '87140110': {'03.15.19', '03.15.25', '03.15.24'}, '87142218': {'26.17.13', '02.03.22', '02.11.01'}, '87006826': {'28.01.03'}}

p_data = {'78567908': {'24.11.01', '26.01.21', '24.11.02', '02.03.24', '02.03.01', '04.03.03', '01.01.13', '26.01.18', '01.01.10'}, '85789070': {'02.05.05', '02.03.17', '02.05.24', '02.05.01', '02.05.04', '26.01.02', '09.01.04'}, '87140110': {'03.15.19', '03.15.25', '03.15.10', '03.15.24'}, '87142218': {'26.17.13', '02.03.22', '02.11.01', '02.03.02', '02.03.24', '02.11.13'}, '87006826': {'28.01.03'}}

a = pd.DataFrame.from_dict(a_data, orient='index')
p = pd.DataFrame.from_dict(p_data, orient='index')

a.apply(lambda x: sum(i in p.loc[x.name,:].tolist() for i in x.dropna()), axis=1)

Вывод:

78567908    6
85789070    5
87140110    3
87142218    3
87006826    1
dtype: int64