Удалить дубликаты из списка словарей, созданных с помощью groupby itertools в Python - PullRequest
Новая
       15

Удалить дубликаты из списка словарей, созданных с помощью groupby itertools в Python

3 голосов
/ 17 января 2020

Я хочу удалить дубликаты в моем объединенном словаре.

Мои данные: 

mongo_data = [{
 'url': 'https://goodreads.com/',
 'variables': [{'key': 'Harry Potter', 'value': '10.0'},
               {'key': 'Discovery of Witches', 'value': '8.5'},],
 'vendor': 'Fantasy' 
 },{
 'url': 'https://goodreads.com/',
 'variables': [{'key': 'Hunger Games', 'value': '10.0'},
               {'key': 'Maze Runner', 'value': '5.5'},],
 'vendor': 'Dystopia' 
 },{
 'url': 'https://kindle.com/',
 'variables': [{'key': 'Divergent', 'value': '9.0'},
               {'key': 'Lord of the Rings', 'value': '9.0'},],
 'vendor': 'Fantasy' 
 },{
 'url': 'https://kindle.com/',
 'variables': [{'key': 'The Handmaids Tale', 'value': '10.0'},
               {'key': 'Divergent', 'value': '9.0'},],
 'vendor': 'Fantasy' 
 }]

Мой код: 

for key, group in groupby(mongo_data, key=lambda chunk: chunk['url']):
    search = {"url": key, "results": []}
    for vendor, group2 in groupby(group, key=lambda chunk2: chunk2['vendor']):
        result = {
            "genre": vendor,
            "data": [{'key': key['key'], 'value': key['value']} 
                     for result2 in group2
                     for key in result2["variables"]],
        }
        search["results"].append(result)
    searches.append(search)

Мой результат: 

[
  {
    "url": "https://goodreads.com/",
    "results": [
      {
        "genre": "Fantasy",
        "data": [
          {
            "key": "Harry Potter",
            "value": "10.0"
          },
          {
            "key": "Discovery of Witches",
            "value": "8.5"
          }
        ]
      },
      {
        "genre": "Dystopia",
        "data": [
          {
            "key": "Hunger Games",
            "value": "10.0"
          },
          {
            "key": "Maze Runner",
            "value": "5.5"
          }
        ]
      }
    ]
  },
  {
    "url": "https://kindle.com/",
    "results": [
      {
        "genre": "Fantasy",
        "data": [
          {
            "key": "Divergent",
            "value": "9.0"
          },
          {
            "key": "Lord of the Rings",
            "value": "9.0"
          },
          {
            "key": "The Handmaids Tale",
            "value": "10.0"
          },
          {
            "key": "Divergent",
            "value": "9.0"
          }
        ]
      }
      }
    ]
  }
]

Я не хочу дубликатов в моем структура. Я не уверен, как их убрать. Мой ожидаемый результат можно увидеть ниже.

Ожидаемый результат: 

[
  {
    "url": "https://goodreads.com/",
    "results": [
      {
        "genre": "Fantasy",
        "data": [
          {
            "key": "Harry Potter",
            "value": "10.0"
          },
          {
            "key": "Discovery of Witches",
            "value": "8.5"
          }
        ]
      },
      {
        "genre": "Dystopia",
        "data": [
          {
            "key": "Hunger Games",
            "value": "10.0"
          },
          {
            "key": "Maze Runner",
            "value": "5.5"
          }
        ]
      }
    ]
  },
  {
    "url": "https://kindle.com/",
    "results": [
      {
        "genre": "Fantasy",
        "data": [
          {
            "key": "Divergent",
            "value": "9.0"
          },
          {
            "key": "Lord of the Rings",
            "value": "9.0"
          },
          {
            "key": "The Handmaids Tale",
            "value": "10.0"
          }
        ]
      }
      }
    ]
  }
]

Дивергент повторяется в последнем списке словарей. Когда я объединил свои словари, даже дубликаты внутри https://kindle.com/-->Fantasy были объединены в один. Есть ли способ удалить дубликат словаря?

Я хочу, чтобы часть https://kindle.com/ выглядела так: 

{
"url": "https://kindle.com/",
"results": [
  {
    "genre": "Fantasy",
    "data": [
      {
        "key": "Divergent",
        "value": "9.0"
      },
      {
        "key": "Lord of the Rings",
        "value": "9.0"
      },
      {
        "key": "The Handmaids Tale",
        "value": "10.0"
      }
    ]
  }
  }
]
}

1 Ответ

0 голосов
/ 17 января 2020

Вы можете сначала попытаться преобразовать эти dict в set из tuple, а затем преобразовать обратно в list из dict, а затем: 

mongo_data = [{
 'url': 'https://goodreads.com/',
 'variables': [{'key': 'Harry Potter', 'value': '10.0'},
               {'key': 'Discovery of Witches', 'value': '8.5'},],
 'vendor': 'Fantasy' 
 },{
 'url': 'https://goodreads.com/',
 'variables': [{'key': 'Hunger Games', 'value': '10.0'},
               {'key': 'Maze Runner', 'value': '5.5'},],
 'vendor': 'Dystopia' 
 },{
 'url': 'https://kindle.com/',
 'variables': [{'key': 'Divergent', 'value': '9.0'},
               {'key': 'Lord of the Rings', 'value': '9.0'},],
 'vendor': 'Fantasy' 
 },{
 'url': 'https://kindle.com/',
 'variables': [{'key': 'The Handmaids Tale', 'value': '10.0'},
               {'key': 'Divergent', 'value': '9.0'},],
 'vendor': 'Fantasy' 
 }]
from itertools import groupby
searches = []
for key, group in groupby(mongo_data, key=lambda chunk: chunk['url']):
    search = {"url": key, "results": []}
    for vendor, group2 in groupby(group, key=lambda chunk2: chunk2['vendor']):
        result = {
            "genre": vendor,
            "data": set((key['key'], key['value'])
                     for result2 in group2
                     for key in result2["variables"]),
        }
        result['data'] = [{"key": tup[0], "value": tup[1]} for tup in result['data']]
        search["results"].append(result)
    searches.append(search)
searches

Вывод: 

[{'results': [{'data': [{'key': 'Harry Potter', 'value': '10.0'},
                        {'key': 'Discovery of Witches', 'value': '8.5'}],
               'genre': 'Fantasy'},
              {'data': [{'key': 'Maze Runner', 'value': '5.5'},
                        {'key': 'Hunger Games', 'value': '10.0'}],
               'genre': 'Dystopia'}],
  'url': 'https://goodreads.com/'},
 {'results': [{'data': [{'key': 'The Handmaids Tale', 'value': '10.0'},
                        {'key': 'Lord of the Rings', 'value': '9.0'},
                        {'key': 'Divergent', 'value': '9.0'}],
               'genre': 'Fantasy'}],
  'url': 'https://kindle.com/'}]
...