Я пытаюсь удалить сайт HTTPS через прокси-сервер HTTPS, который требует обычной аутентификации, соединение установлено, но scrapy не отправляет клиенту привет, а затем не получает никаких данных с веб-сайта.
Iможно сделать то же самое, используя curl, например:
curl -U пользователь: пароль -x https://proxy:8443 -v https://icanhazip.com
работает без проблем.
Также, если я выполню
http_proxy = https://user:password@proxy:8443 оболочка scrapy http://icanhazip.com
, она работает, но
http_proxy = https://user:password@proxy:8443 оболочка scrapy https://icanhazip.com
это в обход прокси
Я использую Scrapy: 1.6.0
Заранее спасибо