Я сделал сканер URL, который использует cookielib и urllib2 для сканирования веб-страниц.Я заметил, что каждый раз, когда я достигаю 100 соединений, программа просто останавливается без ошибок.Я предполагаю, что ошибка в том, что я установил 100 соединений.Я пробовал несколько раз на разных доменах, и в конце концов программа перестанет исследовать ссылки и остановится, когда достигнет 100 исходящих соединений.Как обойти эту ошибку?
Мой установочный код выглядит следующим образом:
domain = "http://dotwhat.net"
cj = cookielib.CookieJar()
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cj))
html = opener.open(domain).read()
soup = BeautifulSoup(html)
Я открываю новое соединение в строке 4 кода в цикле.