Как нажать кнопку «Далее» при просмотре веб-страницы - PullRequest
Новая
       7

Как нажать кнопку «Далее» при просмотре веб-страницы

0 голосов
/ 06 июня 2019

Пытаясь очистить следующий веб-сайт, http://www.starcitygames.com/catalog/category/Duel%20Decks%20Venser%20vs%20Koth,, и мне нужно иметь возможность нажать следующую кнопку, чтобы перейти на следующую страницу. Я попробовал несколько разных вещей, у меня есть два фрагмента кода, которые я попробовал ниже, но ни один из них не сработал, и я просто не знаю, что делать, чтобы перейти на следующую страницу. 


 # Scraping
    def parse(self, response):
        item = GameItem()
        saved_name = ""

        item["Category"] = response.css("span.titletext::text").extract()
        for game in response.css("tr[class^=deckdbbody]"):
            saved_name  = game.css("a.card_popup::text").extract_first() or saved_name
            item["card_name"] = saved_name.strip()

            if item["card_name"] != None:
                saved_name = item["card_name"].strip()
            else:
                item["card_name"] = saved_name

            item["Condition"] = game.css("td[class^=deckdbbody].search_results_7 a::text").get()
            item["stock"] = game.css("td[class^=deckdbbody].search_results_8::text").extract_first()
            item["Price"] = game.css("td[class^=deckdbbody].search_results_9::text").extract_first()

            yield item
            next_page = response.css('#content > div:last-of-type > a\(\@href\):last-of-type').get()
            if next_page is not None:
                yield response.follow(next_page, self.parse)


 # Scraping
    def parse(self, response):
        item = GameItem()
        saved_name = ""

        item["Category"] = response.css("span.titletext::text").extract()
        for game in response.css("tr[class^=deckdbbody]"):
            saved_name  = game.css("a.card_popup::text").extract_first() or saved_name
            item["card_name"] = saved_name.strip()

            if item["card_name"] != None:
                saved_name = item["card_name"].strip()
            else:
                item["card_name"] = saved_name

            item["Condition"] = game.css("td[class^=deckdbbody].search_results_7 a::text").get()
            item["stock"] = game.css("td[class^=deckdbbody].search_results_8::text").extract_first()
            item["Price"] = game.css("td[class^=deckdbbody].search_results_9::text").extract_first()

            yield item

        next_page = response.css('table+ div a:nth-child(8)::attr(href)').get()
        if next_page is not None:
            yield response.follow(next_page, self.parse)

1 Ответ

1 голос
/ 06 июня 2019

Нет способа найти элемент по тексту, используя выражение CSS. Вот почему я настоятельно рекомендую вам использовать XPath для этой части: 

next_page = response.xpath('//a[contains(., "- Next>>")]/@href').get()
if next_page is not None:
    yield response.follow(next_page, self.parse)
...