Работа с прокси - PullRequest
Новая
       35

Работа с прокси

0 голосов
/ 18 февраля 2012

Я создал скрипт (с помощью интернет-ресурсов), который берет список доступных прокси с определенного веб-сайта, а затем проверяет один за другим, чтобы найти работающий прокси. Как только он нашел, что это сборка и открывашка из этого прокси. Вот мой код. 

import urllib2
import urllib
import cookielib
import socket
import time

def getOpener(pip=None):
    if pip:
        proxy_handler = urllib2.ProxyHandler({'http': pip})
        opener = urllib2.build_opener(proxy_handler)
    else:
        opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cookielib.CookieJar()))
    opener.addheaders = [('User-Agent', 'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:7.0.1) Gecko/20100101 Firefox/7.0.1')]
    urllib2.install_opener(opener)
    return opener

def getContent(opnr, url):
    req = urllib2.Request(url)
    sock = opnr.open(req)
    return sock.read()

def is_bad_proxy(pip):
    try:
        opnr = getOpener(pip)
        data = getContent(opnr, 'http://www.google.com')
    except urllib2.HTTPError, e:
        return e.code
    except Exception, detail:
        return True
    return False

def getProxiesList():
    proxies = []
    opnr = getOpener()
    content = getContent(opnr, 'http://somesite.com/')
    urls = re.findall("<a href='([^']+)'[^>]*>.*?HTTP Proxies.*?</a>", content)
    for eachURL in urls:
        content = getContent(opnr, eachURL)
        proxies.extend(re.findall('\d{,3}\.\d{,3}\.\d{,3}\.\d{,3}:\d+', content))
    return proxies

def getWorkingProxy(proxyList, i=-1):
    for j in range(i+1, len(proxyList)):
        currentProxy = proxyList[j]
        if not is_bad_proxy(currentProxy):
            log("%s is working" % (currentProxy))
            return currentProxy, j
        else:
            log("Bad Proxy %s" % (currentProxy))
    return None, -1

if __name__ == "__main__":
    socket.setdefaulttimeout(60)
    proxyList = getProxiesList()
    proxy, index = getWorkingProxy(proxyList)
    if proxy:
        _web = getOpener(proxy)

И мне приходится повторять этот процесс снова и снова, когда я в какой-то степени использую один прокси. Проблема does building an opener again and again will cause issues??, потому что у меня следующая ошибка HTTPError: HTTP Error 503: Too many open connections. Пожалуйста, помогите мне, что было бы причиной ошибки? Заранее спасибо.

1 Ответ

0 голосов
/ 26 декабря 2012

Я проверил, а proxyList содержит дубликаты. Очень многие openers пытались использовать один и тот же прокси, который вызвал ошибку HTTPError: HTTP Error 503: Too many open connections

...