Я новичок в соскобе и селене. Страница, которую я хочу очистить, использует js-скрипт на кнопке, чтобы перейти на следующую страницу. Я нашел часть кода ( Нажмите кнопку в Scrapy ) на SO, но я не могу заставить его работать.
from selenium import webdriver
import scrapy
class chSpider(scrapy.Spider):
name = 'spidypy'
allowed_domains = ['117.145.177.252']
start_urls = ['http://117.145.177.252/login.do?method=enterPdamccx']
def __init__(self):
self.driver = webdriver.Firefox()
def parse(self,response):
self.driver.get('http://117.145.177.252/login.do?method=enterPdamccx')
while True:
try:
next = self.driver.find_element_by_xpath('/html/body/form/div[3]/div/div/a')
url = 'http://117.145.177.252/login.do?method=enterPdamccx'
yield Request(url,callback=self.parse2)
next.click()
except:
break
self.driver.close()
def parse2(self,response):
print('you are here!')
Я получаю следующие сообщения об ошибках несколько раз:
selenium.common.exceptions.WebDriverException: Message: connection refused