Я использую crawlera с scrapy для сканирования сайта https.crawlera отлично работает с веб-сайтами http, но когда дело доходит до https, время ожидания постоянно.Я следовал их руководству по импорту сертификата crawlera, но это было бесполезно, но проблема с тайм-аутом у меня все еще возникает, даже если образец теста включен на их веб-сайте. https://support.scrapinghub.com/support/solutions/articles/22000188407-crawlera-with-https. Я использую Ubuntu 16.04.