Ошибка ResponseNotReady при выполнении одновременных запросов селена / хромедрайвера - PullRequest
Новая
       12

Ошибка ResponseNotReady при выполнении одновременных запросов селена / хромедрайвера

0 голосов
/ 18 мая 2018

У меня есть скрипт, который делает запросы с использованием нескольких безголовых браузеров (selenium + драйверы Chrome), каждый из которых делает HTTP-запросы через разные прокси-серверы SOCKS.Все запросы сделаны внутри concurrent.futures.ThreadPoolExecutor().По какой-то причине я периодически получаю сообщение об ошибке ResponseNotReady: Idle и не могу понять, почему.

Мой вопрос:

1) Чтовызывает эту ошибку ResponseNotReady?Я что-то делаю не так или это обычное исключение, которое мне просто нужно перехватить и ответить на него?

2) Как правильно обработать исключение ResponseNotReady?Как лучше всего восстановиться после этого?

Вот функция, в которой я делаю запросы: 

def _fetch_selenium(self, url, session, port):
    domain = self.domainFromURL(url)
    with self.locks[port][domain]: 
        try:
            start_time = datetime.now()
            session.get(url)
            sleep(self.delay) 
            return {'url': url, 
                    'html': session.page_source, 
                    'time': datetime.now() - start_time, 
                    'proxy_port': port}

        except selenium_exceptions.WebDriverException as e:
            print("Request of URL " + url + " failed with exception: " + str(e))
            sleep(self.delay)          
            return {'url': url, 
                    'html': None, 
                    'time': datetime.now() - start_time, 
                    'proxy_port': port}

А вот код, куда я отправляю запросыразличные сеансы селена (функция fetch() в основном просто вызывает _fetch_selenium(): 

def fetchConcurrent(self, urls):

    results = []

    timeouts = defaultdict(int)
    with ThreadPoolExecutor(max_workers=self.num_threads) as executor:
        futures = []
        for url in urls:
            session = self.sessions.popleft()
            futures.append(executor.submit(self.fetch, url, session))
            self.sessions.append(session)

        for future in as_completed(futures):

            result, session = future.result()
            results.append(result)
            if not result['html']:
                socks_port = result['proxy_port']
                print(f"Got no HTML for url {result['url']}, using port {socks_port}.")
                timeouts[socks_port] += 1
                if timeouts[socks_port] > MAX_TIMEOUTS_PER_CLIENT:
                    tor_client_pool.replaceClient(socks_port)
                    self.killSeleniumSession(session)
                    self.sessions.remove(session)
                    self.newSeleniumSession(socks_port)
                    timeouts[socks_port] = 0
                continue

            print(f"GOT: {result['url'].strip()} in {result['time']} seconds, using proxy on port {result['proxy_port']})")

    return results

Когда я запускаю приведенный выше код, он успешно загружает много страниц, но затем в конечном итоге попадает на страницу, где этот ResponseNotReadyПоявляется ошибка, но я не могу сказать, что на странице вызывает ее сбой. Вот обратная связь, которую я вижу, когда возникает ошибка: 

~/Code/gis project/code/TorGetter.py in _fetch_selenium(self, url, session, port)
    202             try:
    203                 start_time = datetime.now()
--> 204                 session.get(url)
    205                 sleep(self.delay)           # no other requests to this domain can be made by this tor client while we sleep() here
    206                 return {'url': url, 

~/.local/share/virtualenvs/code-pIyQci_2/lib/python3.6/site-packages/selenium/webdriver/remote/webdriver.py in get(self, url)
    324         Loads a web page in the current browser session.
    325         """
--> 326         self.execute(Command.GET, {'url': url})
    327 
    328     @property

~/.local/share/virtualenvs/code-pIyQci_2/lib/python3.6/site-packages/selenium/webdriver/remote/webdriver.py in execute(self, driver_command, params)
    310 
    311         params = self._wrap_value(params)
--> 312         response = self.command_executor.execute(driver_command, params)
    313         if response:
    314             self.error_handler.check_response(response)

~/.local/share/virtualenvs/code-pIyQci_2/lib/python3.6/site-packages/selenium/webdriver/remote/remote_connection.py in execute(self, command, params)
    470         data = utils.dump_json(params)
    471         url = '%s%s' % (self._url, path)
--> 472         return self._request(command_info[0], url, body=data)
    473 
    474     def _request(self, method, url, body=None):

~/.local/share/virtualenvs/code-pIyQci_2/lib/python3.6/site-packages/selenium/webdriver/remote/remote_connection.py in _request(self, method, url, body)
    494             try:
    495                 self._conn.request(method, parsed_url.path, body, headers)
--> 496                 resp = self._conn.getresponse()
    497             except (httplib.HTTPException, socket.error):
    498                 self._conn.close()

/usr/lib/python3.6/http/client.py in getresponse(self)
   1319         #
   1320         if self.__state != _CS_REQ_SENT or self.__response:
-> 1321             raise ResponseNotReady(self.__state)
   1322 
   1323         if self.debuglevel > 0:

ResponseNotReady: Idle

Любые идеи, что здесь происходит и какисправить это? Спасибо!

...