Я пытаюсь сканировать страницу, но на этой странице мне нужно многократно нажимать кнопку, чтобы загрузить все содержимое, поэтому я использую селен перед его анализом и извлекаю ссылки.
Ниже ошибка, что я делаю не так?
2018-08-31 20:18:56 [twisted] CRITICAL:
Traceback (most recent call last):
File "d:\python-projects\lib\site-packages\twisted\internet\defer.py", line 1418, in _inlineCallbacks
result = g.send(result)
File "d:\python-projects\lib\site-packages\scrapy\crawler.py", line 81, in crawl
start_requests = iter(self.spider.start_requests())
TypeError: 'NoneType' object is not iterable
мой код:
import scrapy
from scrapy.selector import Selector
from scrapy.spider import Spider
from scrapy.utils.markup import remove_tags
from selenium import webdriver
class Listings(Spider):
name = "adver"
base_url = 'https://www.test.com/xxxxx1'
def start_requests(self):
self.driver = webdriver.Firefox(executable_path=r'D:\python-projects\geckodriver.exe')
self.driver.get(self.base_url)
while True:
load_content = self.driver.find_element_by_xpath('/html/body/div[5]/div[3]/div[1]/button')
try:
self.parse(driver.page_source)
load_content.click()
except:
break
self.driver.close()
def parse(self, response):
for link in response.css ("a.ad-title-link"):
ad_link = link.css('a::attr(href)').extract_first()
yield {'link': ad_link}