python - Как разрешить KeyError при извлечении из словаря json - PullRequest
Новая
       6

python - Как разрешить KeyError при извлечении из словаря json

0 голосов
/ 12 февраля 2020

Я работаю над проектом, в котором я использую API Foursquare для получения информации о месте проведения из разных мест в Портленде. У меня возникла проблема при попытке извлечь информацию из словаря json и структурировать ее в фрейм данных с помощью пользовательской функции, которую я написал. По какой-то причине написанная мной функция помечает KeyError в разделе 'groups' в словаре, даже если в нем есть элементы, и он присутствует в словаре. У меня было предчувствие, что KeyError может сработать из-за того, что некоторые группы в словаре не содержат никаких элементов, когда.

ex: (посмотрите на подгруппу 'items' снизу, и вы увидите, что там есть пустой список. Моя функция ищет информацию в этой подгруппе, так что, возможно, именно это и помечает ошибку,) 

{'meta': {'code': 200, 'requestId': '5e4330219fcb92001bd8a847'},
 'response': {'warning': {'text': 'There aren\'t a lot of results for "(\'Bookstore\', \'Comic Shop\', \'Used Bookstore\', \'Library\')." Try something more general, reset your filters, or expand the search area.'},
  'headerLocation': 'University Park',
  'headerFullLocation': 'University Park, Portland',
  'headerLocationGranularity': 'neighborhood',
  'query': 'bookstore comic shop used bookstore library',
  'totalResults': 0,
  'suggestedBounds': {'ne': {'lat': 45.5830000045, 'lng': -122.72538279609336},
   'sw': {'lat': 45.573999995499996, 'lng': -122.73821720390666}},
  'groups': [{'type': 'Recommended Places',
    'name': 'recommended',
    'items': []}]}}

по сравнению с этим, что будет выглядеть как "обычный" словарь из запроса API: 

{'meta': {'code': 200, 'requestId': '5e4335769da7ee001b203b56'},
 'response': {'warning': {'text': 'There aren\'t a lot of results for "(\'Bookstore\', \'Comic Shop\', \'Used Bookstore\', \'Library\')." Try something more general, reset your filters, or expand the search area.'},
  'headerLocation': 'Cathedral Park',
  'headerFullLocation': 'Cathedral Park, Portland',
  'headerLocationGranularity': 'neighborhood',
  'query': 'bookstore comic shop used bookstore library',
  'totalResults': 2,
  'suggestedBounds': {'ne': {'lat': 45.5928000045, 'lng': -122.7515716757994},
   'sw': {'lat': 45.583799995499994, 'lng': -122.76440832420062}},
  'groups': [{'type': 'Recommended Places',
    'name': 'recommended',
    'items': [{'reasons': {'count': 0,
       'items': [{'summary': 'This spot is popular',
         'type': 'general',
         'reasonName': 'globalInteractionReason'}]},
      'venue': {'id': '5632a8dc498e5636877e4fa3',
       'name': 'Comic Cave PDX',
       'location': {'address': '1920 N. Kirkpatrick',
        'crossStreet': 'Denver',
        'lat': 45.59002437301252,
        'lng': -122.75552067488051,
        'labeledLatLngs': [{'label': 'display',
          'lat': 45.59002437301252,
          'lng': -122.75552067488051}],
        'distance': 271,
        'postalCode': '97217',
        'cc': 'US',
        'city': 'Portland',
        'state': 'OR',
        'country': 'United States',
        'formattedAddress': ['1920 N. Kirkpatrick (Denver)',
         'Portland, OR 97217',
         'United States']},
       'categories': [{'id': '52f2ab2ebcbc57f1066b8b18',
         'name': 'Comic Shop',
         'pluralName': 'Comic Shops',
         'shortName': 'Comic Shop',
         'icon': {'prefix': 'https://ss3.4sqi.net/img/categories_v2/shops/comic_',
          'suffix': '.png'},
         'primary': True}],
       'photos': {'count': 0, 'groups': []}},
      'referralId': 'e-0-5632a8dc498e5636877e4fa3-0'},
     {'reasons': {'count': 0,
       'items': [{'summary': 'This spot is popular',
         'type': 'general',
         'reasonName': 'globalInteractionReason'}]},
      'venue': {'id': '5d617b8e228cfc0008fb1f9f',
       'name': 'Two Rivers Bookstore',
       'location': {'address': '8836 N Lombard St',
        'lat': 45.591434,
        'lng': -122.75648600000001,
        'labeledLatLngs': [{'label': 'display',
          'lat': 45.591434,
          'lng': -122.75648600000001}],
        'distance': 368,
        'postalCode': '97203',
        'cc': 'US',
        'city': 'Portland',
        'state': 'OR',
        'country': 'United States',
        'formattedAddress': ['8836 N Lombard St',
         'Portland, OR 97203',
         'United States']},
       'categories': [{'id': '4bf58dd8d48988d114951735',
         'name': 'Bookstore',
         'pluralName': 'Bookstores',
         'shortName': 'Bookstore',
         'icon': {'prefix': 'https://ss3.4sqi.net/img/categories_v2/shops/bookstore_',
          'suffix': '.png'},
         'primary': True}],
       'photos': {'count': 0, 'groups': []}},
      'referralId': 'e-0-5d617b8e228cfc0008fb1f9f-1'}]}]}}

Недавно я добавил предложение Except, которое позволило функции выполнить, но когда я использовал его, каждый элемент был помечен как исключение (даже те элементы, которые должны иметь элементы в словаре). Мой код и ошибки приведены ниже:

Мой код: 

def getNearbyVenues(names, latitudes, longitudes, limit=500):

    venues_list=[]
    for name, lat, lng in zip(names, latitudes, longitudes):
        print(name)
        url = 'https://api.foursquare.com/v2/venues/explore?&client_id={}&client_secret={}&ll={},{}&v={}&query={}&radius={}&limit={}'.format(
            CLIENT_ID, 
            CLIENT_SECRET, 
            VERSION,
            lat,
            lng,
            query, 
            radius, 
            LIMIT)

        try:
        results = requests.get(url, "none").json()['response']['groups'][0]['items']


            venues_list.extend([(
                name, 
                lat, 
                lng, 
                v['venue']['name'], 
                v['venue']['location']['lat'], 
                v['venue']['location']['lng'],  
                v['venue']['categories'][0]['name']) for v in results])

        except KeyError:
            venues_list.extend([(
               name,
               lat,
               lng,
               np.nan,
               np.nan,
               np.nan,
               np.nan)]) 

    nearby_venues = pd.DataFrame(venues_list, columns = ['Neighborhood', 
                  'Neighborhood Latitude', 
                  'Neighborhood Longitude', 
                  'Venue', 
                  'Venue Latitude', 
                  'Venue Longitude', 
                  'Venue Category'])

    return(nearby_venues)

(Как примечание, что 0 в результатах тянет выше ([' ответы '] [' groups '] [0] [' items]) делают точно? Заимствовали этот раздел кода из курса, над которым я работаю. 

---------------------------------------------------------------------------
KeyError                                  Traceback (most recent call last)
<ipython-input-16-66be6cf8c7d3> in <module>
      1 PDX_venues = getNearbyVenues(names=PDX_NeighDF['Neighborhood'],
      2                              latitudes=PDX_NeighDF['Latitude'],
----> 3                              longitudes=PDX_NeighDF['Longitude']
      4                              )
      5 

<ipython-input-15-dab42c6d540d> in getNearbyVenues(names, latitudes, longitudes, limit)
     15 
     16         #try:
---> 17         results = requests.get(url, "none").json()['response']['groups'][0]['items']
     18 
     19 

KeyError: 'groups'

Эта функция пытается построить датафрейм: 

PDX_venues = getNearbyVenues(names=PDX_NeighDF['Neighborhood'],
                             latitudes=PDX_NeighDF['Latitude'],
                             longitudes=PDX_NeighDF['Longitude']
                             )

PDX_venues.head()

output: (structured in a pandas df normally)

    Neighborhood    Neighborhood Latitude   Neighborhood Longitude  Venue   Venue Latitude  Venue Longitude Venue Category
0   CATHEDRAL PARK  45.58830    -122.75799  NaN NaN NaN NaN
1   UNIVERSITY PARK 45.57850    -122.73180  NaN NaN NaN NaN
2   PIEDMONT    45.56510    -122.66820  NaN NaN NaN NaN
3   WOODLAWN    45.56970    -122.65240  NaN NaN NaN NaN
4   ARBOR LODGE 45.57354    -122.69240  NaN NaN NaN NaN

Я очень признателен за любую помощь! Дайте мне знать, если вам нужна дополнительная информация или справочная информация о коде, и я буду рад предоставить больше.

1 Ответ

0 голосов
/ 12 февраля 2020

Для этого есть несколько вариантов.

При доступе к dict вы можете использовать функцию get для dict. Эта функция извлекает значение, но позволяет вам также установить значение по умолчанию. 

results = requests.get(url, "none").json().get('response', {})('groups', [])

Python не имеет эквивалента для списков, поэтому в этом случае вам придется написать некоторые операторы if чтобы увидеть, есть ли в списке элементы для извлечения.

Другой вариант - добавить намного больше проверок и быстрее выручить, если элемент не существует. 

jsonBlob = requests.get(url, "none").json()
if 'response' not in jsonBlob or 'groups' not in jsonBlob['response']:
    return False
...