Вот образец моего фрейма данных: 
and I want my output to look like this:
введите описание изображения здесь
Для этого я создал словарь из своего фрейма данных, и я хочу удалить дубликаты из каждого отдельного столбца в фрейме данных.
Вот мой словарь:
{'retailer_product_identifier pattern': {0: '9999999', 61: '999999999', 1941: '9999', 10328: '999999', 30097: '99999', 31333: '999', 37516: '99'}, 'last_seen_date pattern': {0: '99999999', 61: '99999999', 1941: '99999999', 10328: '99999999', 30097: '99999999', 31333: '99999999', 37516: '99999999'}, 'retailer_product_identifier pattern Count': {0: 94781, 61: 1108, 1941: 293, 10328: 1536, 30097: 448, 31333: 10, 37516: 18}, 'last_seen_date pattern Count': {0: 98194, 61: 98194, 1941: 98194, 10328: 98194, 30097: 98194, 31333: 98194, 37516: 98194}}
Если вы заметили, значения в «last_seen_date шаблон» и «last_seen_date количество шаблонов» совпадают. Мне нужна только одна пара "ключ-значение" для игнорирования повторяющихся значений.
Как я могу это сделать?