Соединение было отклонено другой стороной: 111: Соединение отклонено.при использовании Scrapy Crawlera на сервере Linux

Question

Scrapy Crawlera просто отлично работал на моей машине с Windows, но при запуске на моем сервере linux выдает ошибку 111.Почему это так?

Когда я использую curl, я получаю эту ошибку: curl: (7) Failed connect to proxy.crawlera.com:8010; Connection refused

Answer 1

Оказалось, что при работе с портами CPanel (или, может быть, Linux?) Блокирует порты по умолчанию, если он не включен в белый список в брандмауэре.Я открыл его через WHM, так как я использую CPanel, и теперь все работает нормально.

Answer 2

Скорее всего, он не имеет ничего общего с Windows или Linux, но с пользовательским агентом из Scrapy.Попробуйте сделать что-нибудькак это в settings.py:

USER_AGENT = 'Mozilla/5.0 (X11; Linux x86_64; rv:7.0.1) Gecko/20100101 Firefox/7.7