Изящно ловить Python Exception в итераторе далее - PullRequest
Новая
       10

Изящно ловить Python Exception в итераторе далее

0 голосов
/ 07 января 2019

Я использую PyGithub для очистки некоторых репозиториев, хотя я получаю сообщение об ошибке при переборе страниц поиска. 

def scrape_interval(self, interval):
    for repo_number, repo in self.search(interval):
        code...

def search(self, interval):
    try:
        iterator = enumerate(self.github.search_repositories(query="Laravel created:" + interval))
    except:
        print.warning("Going to sleep for 1 hour. The search API hit the limit")
        time.sleep(3600)
        iterator = self.search(interval)
    return iterator

Как видите, я пытаюсь перехватить ошибки при создании итератора в def search. Но ошибка выдается в строке for repo_number, repo in self.search(interval):, так что в какой-то момент, когда итератор получит следующий элемент?

Какие у меня есть варианты, чтобы эти ошибки можно было отследить? Я бы предпочел не включать весь цикл for в предложение try, а управлять им во время самой итерации.

Для справки об ошибке в себе: 

File "/Users/olofjondelius/Documents/Code/laravel-ai/src/examples/migration-analysis/../../GithubScraper.py", line 47, in scrape_interval
    for repo_number, repo in self.search(interval):
  File "/anaconda3/envs/laravel-ai/lib/python3.7/site-packages/github/PaginatedList.py", line 58, in _iter_
    newElements = self._grow()
  File "/anaconda3/envs/laravel-ai/lib/python3.7/site-packages/github/PaginatedList.py", line 70, in _grow
    newElements = self._fetchNextPage()
  File "/anaconda3/envs/laravel-ai/lib/python3.7/site-packages/github/PaginatedList.py", line 172, in _fetchNextPage
    headers=self.__headers
  File "/anaconda3/envs/laravel-ai/lib/python3.7/site-packages/github/Requester.py", line 185, in requestJsonAndCheck
    return self.__check(*self.requestJson(verb, url, parameters, headers, input, cnx))
  File "/anaconda3/envs/laravel-ai/lib/python3.7/site-packages/github/Requester.py", line 231, in requestJson
    return self.__requestEncode(cnx, verb, url, parameters, headers, input, encode)
  File "/anaconda3/envs/laravel-ai/lib/python3.7/site-packages/github/Requester.py", line 284, in __requestEncode
    status, responseHeaders, output = self.__requestRaw(cnx, verb, url, requestHeaders, encoded_input)
  File "/anaconda3/envs/laravel-ai/lib/python3.7/site-packages/github/Requester.py", line 309, in __requestRaw
    requestHeaders
  File "/anaconda3/envs/laravel-ai/lib/python3.7/http/client.py", line 1229, in request
    self._send_request(method, url, body, headers, encode_chunked)
  File "/anaconda3/envs/laravel-ai/lib/python3.7/http/client.py", line 1275, in _send_request
    self.endheaders(body, encode_chunked=encode_chunked)
  File "/anaconda3/envs/laravel-ai/lib/python3.7/http/client.py", line 1224, in endheaders
    self._send_output(message_body, encode_chunked=encode_chunked)
  File "/anaconda3/envs/laravel-ai/lib/python3.7/http/client.py", line 1016, in _send_output
    self.send(msg)
  File "/anaconda3/envs/laravel-ai/lib/python3.7/http/client.py", line 956, in send
    self.connect()
  File "/anaconda3/envs/laravel-ai/lib/python3.7/http/client.py", line 1384, in connect
    super().connect()
  File "/anaconda3/envs/laravel-ai/lib/python3.7/http/client.py", line 928, in connect
    (self.host,self.port), self.timeout, self.source_address)
  File "/anaconda3/envs/laravel-ai/lib/python3.7/socket.py", line 707, in create_connection
    for res in getaddrinfo(host, port, 0, SOCK_STREAM):
  File "/anaconda3/envs/laravel-ai/lib/python3.7/socket.py", line 748, in getaddrinfo
    for res in _socket.getaddrinfo(host, port, family, type, proto, flags):
socket.gaierror: [Errno 8] nodename nor servname provided, or not known

1 Ответ

0 голосов
/ 09 января 2019

Похоже, исключение возникает при выполнении итерации по итератору, а не при его создании. Ваши текущие блоки try и except перехватывают только те исключения, которые возникают сразу при вызове self.github.search_repositories, а не все, что появляется, когда вы потребляете результаты.

Чтобы обойти это, вы можете сделать вашу функцию search генератором. Это позволит вам выдавать значения до тех пор, пока они у вас есть, но при этом перехватывать исключения и повторять их так часто, как это необходимо.

Попробуйте что-то вроде этого: 

def search(self, interval):
    while True:
        try:
            it = enumerate(self.github.search_repositories(query="Laravel created:" + interval))
            yield from it
            return   # if we completed the yield from without an exception, we're done!

        except:  # you should probably limit this to catching a specific exception types
            print.warning("Going to sleep for 1 hour. The search API hit the limit")
            time.sleep(3600)

Как я заметил в комментарии, вам, вероятно, следует изменить простое выражение except на except socket.gaierror или что-то подобное, чтобы вы не подавляли все исключения, а только те, которые вы есть ожидая и что задержка исправит для вас. Что-то действительно неожиданное все же должно быть позволено остановить программу (поскольку это может отражать ошибку в другом месте вашего кода).

...