Python Geopy Nominatim слишком много запросов - PullRequest
Новая
       75

Python Geopy Nominatim слишком много запросов

0 голосов
/ 05 февраля 2020

Следующий скрипт прекрасно работает с файлом, содержащим 2 строки, но когда я попробовал файл с 2500 строками, я получил 429 исключений. Итак, я увеличил время запроса до 5 секунд. Я также заполнил пользовательский агент. После неудачных попыток я подключился к VPN, чтобы сменить «fre sh», но я снова получил 429 ошибок. Есть что-то, чего я здесь не хватает? Политика Nominatim определяет не больше соединений, чем 1 в секунду, я делаю один раз в 5 секунд ... любая помощь будет полезна! 

from geopy.geocoders import Nominatim
import pandas
from functools import partial

from geopy.extra.rate_limiter import RateLimiter

nom = Nominatim(user_agent="xxx@gmail.com")
geocode = RateLimiter(nom.geocode, min_delay_seconds=5)


df=pandas.read_csv('Book1.csv', engine='python')
df["ALL"] = df['Address'].apply(partial(nom.geocode, timeout=1000, language='en'))
df["Latitude"] = df["ALL"].apply(lambda x: x.latitude if x != None else None)
df["Longitude"] = df["ALL"].apply(lambda x: x.longitude if x != None else None)

writer = pandas.ExcelWriter('Book1.xlsx')
df.to_excel(writer, 'new_sheet')
writer.save()

Сообщение об ошибке: 

Traceback (most recent call last):
  File "C:\Users\u6022697\AppData\Local\Programs\Python\Python37\lib\site-packages\geopy\geocoders\base.py", line 355, in _call_geocoder
    page = requester(req, timeout=timeout, **kwargs)
  File "C:\Users\u6022697\AppData\Local\Programs\Python\Python37\lib\urllib\request.py", line 531, in open
    response = meth(req, response)
  File "C:\Users\u6022697\AppData\Local\Programs\Python\Python37\lib\urllib\request.py", line 641, in http_response
    'http', request, response, code, msg, hdrs)
  File "C:\Users\u6022697\AppData\Local\Programs\Python\Python37\lib\urllib\request.py", line 569, in error
    return self._call_chain(*args)
  File "C:\Users\u6022697\AppData\Local\Programs\Python\Python37\lib\urllib\request.py", line 503, in _call_chain
    result = func(*args)
  File "C:\Users\u6022697\AppData\Local\Programs\Python\Python37\lib\urllib\request.py", line 649, in http_error_default
    raise HTTPError(req.full_url, code, msg, hdrs, fp)
urllib.error.HTTPError: HTTP Error 429: Too Many Requests

During handling of the above exception, another exception occurred:

Traceback (most recent call last):
  File "C:/Users/u6022697/Documents/python work/Multiple GPS Nom Pandas.py", line 14, in <module>
    df["ALL"] = df['Address'].apply(partial(nom.geocode, timeout=1000, language='en'))
  File "C:\Users\u6022697\AppData\Local\Programs\Python\Python37\lib\site-packages\pandas\core\series.py", line 3849, in apply
    mapped = lib.map_infer(values, f, convert=convert_dtype)
  File "pandas\_libs\lib.pyx", line 2327, in pandas._libs.lib.map_infer
  File "C:\Users\u6022697\AppData\Local\Programs\Python\Python37\lib\site-packages\geopy\geocoders\osm.py", line 406, in geocode
    self._call_geocoder(url, timeout=timeout), exactly_one
  File "C:\Users\u6022697\AppData\Local\Programs\Python\Python37\lib\site-packages\geopy\geocoders\base.py", line 373, in _call_geocoder
    raise ERROR_CODE_MAP[code](message)
geopy.exc.GeocoderQuotaExceeded: HTTP Error 429: Too Many Requests

Ответы [ 2 ]

1 голос
/ 05 февраля 2020

После некоторых исследований выясняется, что Nominatim имеет ограничение в 1000 запросов в день, поэтому сценарий пытался выполнить более 1 тыс.

https://getlon.lat/

0 голосов
/ 06 февраля 2020

Менее чем за день я сделал обратное геокодирование ~ 10К различных лат-лонных комбинаций. Nominatim не любит массовые запросы, поэтому идея состоит в том, чтобы не выглядеть как один. Вот что я предлагаю:

  1. Убедитесь, что вы запрашиваете только уникальные элементы. Я обнаружил, что Nominatim блокирует повторные запросы для одной и той же латонской комбинации. То же самое может быть верно для адресов. Вы можете использовать unq_address = df['address'].unique(), а затем сделать запрос, используя эту серию. Вы можете даже получить меньше адресов.

  2. Время между запросами должно быть случайным . Я также установил для user_agent случайное число каждый раз. В моем случае я использую следующий код: 

    from time import sleep
from random import randint
from geopy.geocoders import Nominatim
from geopy.exc import GeocoderTimedOut, GeocoderServiceError

user_agent = 'user_me_{}'.format(randint(10000,99999))
geolocator = Nominatim(user_agent=user_agent)
def reverse_geocode(geolocator, latlon, sleep_sec):
    try:
        return geolocator.reverse(latlon)
    except GeocoderTimedOut:
        logging.info('TIMED OUT: GeocoderTimedOut: Retrying...')
        sleep(randint(1*100,sleep_sec*100)/100)
        return reverse_geocode(geolocator, latlon, sleep_sec)
    except GeocoderServiceError as e:
        logging.info('CONNECTION REFUSED: GeocoderServiceError encountered.')
        logging.error(e)
        return None
    except Exception as e:
        logging.info('ERROR: Terminating due to exception {}'.format(e))
        return None

Я считаю, что строка sleep(randint(1*100,sleep_sec*100)/100) помогает мне.

...