Как извлечь URL-адрес запроса в ответ URL при использовании экстрактора ссылки в Scrapy?

Question

Я пытаюсь очистить некоторые URL-адреса со страниц, используя экстрактор ссылок, но мне также нужно знать запрошенный URL-адрес, для которого были извлечены URL-адреса ответов.

import scrapy
from scrapy.spider import CrawlSpider, Rule
from scrapy.linkextractors import LinkExtractor


class ExtractSpider(CrawlSpider):
    name = 'Extract'
    allowed_domains = ["xyz.com"]
    start_urls = [a,b,c]
    rules = [Rule(LinkExtractor(allow=('xyz.com/s')), callback="parse_link", follow=False)]

    def parse_link(self, response):
        yield {"start_Url": "I want to know"(a or b or c) ,"response_url":response.url}

Я считаю, что здесь я не могу использовать request.metaпередать переменную.пожалуйста, руководство.

Answer 1

Попробуйте это:

response.request.headers.get('referer')