Получить последний scrapy-spla sh url - PullRequest
Новая
       24

Получить последний scrapy-spla sh url

0 голосов
/ 21 апреля 2020

Привет, парень, я пытаюсь получить последний URL перенаправления, URL исходного кода, который я получаю после использования splash. Я всегда получаю первый URL запроса или spla sh URL, а не реальный. кто-то знает, что я решаю проблему 

class Centris(scrapy.Spider):
#on declare le nom et la premiere page de l'aragne
name = 'Centris'
start_urls = [
    'https://passerelle.centris.ca/redirect.aspx?&CodeDest=REMAX&NoMLS=27840003&Lang=F&source=centris.ca'
]
def start_requests(self):
    for url in self.start_urls:
        yield SplashRequest(url=url,args={'wait':5}, callback=self.parse, endpoint='render.html', magic_response=True)

def parse(self,response):
    url = response.real_url
    title = response.css('title::text').get()
    print('Title : ',title)
    print('url : ',url)
...