URL ответа на терапию не совсем совпадает с тем, который я определил в начале URL

Question

У меня есть паук, я даю ему этот URL https://tuskys.dpo.store/#!/~/search/keyword=dairy milk

Однако, когда я пытаюсь получить URL в методе анализа scrapy, URL выглядит как https://tuskys.dpo.store/?_escaped_fragment_=%2F%7E%2Fsearch%2Fkeyword%3Ddairy%2520milk

Здесь демонстрационный код, демонстрирующий мою проблему

import scrapy
class TuskysDpoSpider(scrapy.Spider):
    name = "Tuskys_dpo"
    #allowed_domains = ['ebay.com']
    start_urls = ['https://tuskys.dpo.store/#!/~/search/keyword=dairy milk']

    def parse(self, response):
        yield{'url':response.url}

результаты: {"url": "https://tuskys.dpo.store/?_escaped_fragment_=%2F%7E%2Fsearch%2Fkeyword%3Ddairy%2520milk"}

Почему мой URL-адрес ответа на терапию не совсем совпадает как URL я определил и есть ли способ go вокруг этого?

Answer 1

Вы должны использовать response.request.url, потому что вы перенаправлены с вашего начального URL, поэтому response.url - это URL, на который вы перенаправлены.