Скрап Торпроект - PullRequest
Новая
       21

Скрап Торпроект

3 голосов
/ 17 января 2012

В Ubuntu, 

[guy@guy-laptop tmp]$ sudo /etc/init.d/tor status
tor is running
[guy@guy-laptop tmp]$ sudo /etc/init.d/polipo start
Starting polipo: /usr/bin/polipo already running -- doing nothing
polipo.

также: 

$ python -c 'import urllib; print urllib.getproxies()'
{'ftp': 'ftp://127.0.0.1:8118/', 'all': 'socks://127.0.0.1:8118/',
'http': 'http://127.0.0.1:8118/', 'https': 'https://127.0.0.1:8118/',
'no': 'localhost,127.0.0.0/8,*.local'}

При запуске scrapy я получаю:

ОШИБКА: Ошибка загрузки https://registration.example.com/login.fcc: [Экземпляр сбоя: Traceback (сбой без фреймов):: [('Подпрограммы SSL', 'SSL23_READ', 'Ошибка рукопожатия ssl')]]

В то же время FireFox удалосьполучить страницу правильно через прокси

Любая помощь будет оценена, спасибо, парень

1 Ответ

3 голосов
/ 17 февраля 2012

Вы пробовали запустить скрипт через прокси-цепочки?Чтобы установить в Ubuntu: 

:~$ sudo apt-get install proxychains

, настройте файл /etc/proxychains.conf для работы с TOR (socks4 / 5). 

# defaults set to "tor"

socks4 127.0.0.19050

Тогда вы можете запустить что угодно, хотя TOR 

:~$ proxychains scriptwhatever.py target

Как только вы узнаете, что TOR работает правильно, я рекомендую тихий режим в файле proxychains.conf.

# Тихий режим (без вывода из библиотеки).
quiet_mode

...