Представляем среду ubuntu18, систему python36, поддерживающую chrome браузер и хром-драйвер
Метод установки {все делается на сервере} Chrome и соответствующее программное обеспечение установлено на сервере
Тестовый код, который я сделал, использует селен для управления chrome и просит Baidu вернуть данные
Вопрос: Когда я использую scrapy и selenium для управления chrome для сканирования данных, данные можно сканировать обычным образом, не закрывая ссылку s sh, но пока я закрываю ссылку, сканер будет напрямую поврежден
Примечание. Искатель работает в полном фоне, а не в режиме отображения, что означает, что закрытие ссылки s sh не приведет к прерыванию этого искателя {потому что в искателе есть другие искатели та же среда без применения селена, нет проблем, вы можете ползти нормально
Сообщение об ошибке
Traceback (most recent call last):
File "/root/anaconda3/envs/scrapy36/lib/python3.6/site-packages/twisted/internet/defer.py", line 1418, in _inlineCallbacks
result = g.send(result)
File "/root/anaconda3/envs/scrapy36/lib/python3.6/site-packages/scrapy/core/downloader/middleware.py", line 37, in process_request
response = yield method(request=request, spider=spider)
File "/root/xxx/xxxxxx/xxxxxxxx/xxxxxxx.py", line 247, in process_request
self.browser.get(request.url)
File "/root/anaconda3/envs/scrapy36/lib/python3.6/site-packages/selenium/webdriver/remote/webdriver.py", line 333, in get
self.execute(Command.GET, {'url': url})
File "/root/anaconda3/envs/scrapy36/lib/python3.6/site-packages/selenium/webdriver/remote/webdriver.py", line 321, in execute
self.error_handler.check_response(response)
File "/root/anaconda3/envs/scrapy36/lib/python3.6/site-packages/selenium/webdriver/remote/errorhandler.py", line 242, in check_response
raise exception_class(message, screen, stacktrace)
selenium.common.exceptions.WebDriverException: Message: chrome not reachable
(Session info: headless chrome=80.0.3987.122)