Scrapy, сканировать данные по onclick

Question

Я хочу извлечь заголовок и pdf-ссылку каждой статьи в этой ссылке: https://iclr.cc/Conferences/2019/Schedule?type=Poster

Мой код здесь

class ICLRCrawler(Spider):
    name = "ICLRCrawler"
    allowed_domains = ["iclr.cc"]
    start_urls = ["https://iclr.cc/Conferences/2019/Schedule?type=Poster", ]

    def parse(self, response):
        papers = Selector(response).xpath('//*[@id="content"]/div/div[@class="paper"]')
        titles = Selector(response).xpath('//*[@id="maincard_704"]/div[3]')
        links = Selector(response).xpath('//*[@id="maincard_704"]/div[6]/a[2]')
        for title, link in zip(titles, links):
            item = PapercrawlerItem()
            item['title'] = title.xpath('text()').extract()[0]
            item['pdf'] = link.xpath('/@href').extract()[0]
            item['sup'] = ''
            yield item 

Однако, похоже, нелегко получить название и ссылку на каждую статью.Здесь, как я могу изменить код для получения данных?

Answer 1

Вы можете использовать гораздо более простой подход:

def parse(self, response):

    for poster in response.xpath('//div[starts-with(@id, "maincard_")]'):
        item = PapercrawlerItem()
        item["title"] = poster.xpath('.//div[@class="maincardBody"]/text()[1]').get()
        item["pdf"] = poster.xpath('.//a[@title="PDF"]/@href').get()

        yield item

Answer 2

вы должны заменить Extract()[0] на get_attribute('href')