Я довольно новичок в Scrapy, я пытался почистить веб-сайт со странным способом ссылки на страницу, поэтому я в основном пытаюсь создать ссылку, а затем заменить ее на site_url.
import scrapy
class QuotesSpider(scrapy.Spider):
name = 'demodata'
allowed_domains = ['demo.com/']
start_urls = ['https://www.demo.com/demo/demo.html']
def parse(self, response):
get_det = response.xpath('//*[@class="demo-list-column-2"]/li/a/text()').extract()
get_url = response.xpath('//*[@class="demo-paging"]/li/a/@href').extract()
for x in get_url:
yield scrapy.Request('https://www.demo.com{}'.format(x))
print(get_det)