Перезаписать site_url с помощью Scrapy - PullRequest
0 голосов
/ 13 марта 2020

Я довольно новичок в Scrapy, я пытался почистить веб-сайт со странным способом ссылки на страницу, поэтому я в основном пытаюсь создать ссылку, а затем заменить ее на site_url.

import scrapy


class QuotesSpider(scrapy.Spider):
    name = 'demodata'
    allowed_domains = ['demo.com/']
    start_urls = ['https://www.demo.com/demo/demo.html']


    def parse(self, response):
        get_det = response.xpath('//*[@class="demo-list-column-2"]/li/a/text()').extract()
        get_url = response.xpath('//*[@class="demo-paging"]/li/a/@href').extract()
        for x in get_url:
            yield scrapy.Request('https://www.demo.com{}'.format(x))
        print(get_det)
Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...