я хочу нажать на ссылку на сайте, используя scrapy python - PullRequest
Новая
       7

я хочу нажать на ссылку на сайте, используя scrapy python

0 голосов
/ 26 сентября 2018 
import scrapy
from selenium import webdriver


class QuotesSpider(scrapy.Spider):
    name = "quotes"
    start_urls = [
        'http://ozhat-turkiye.com/en/brands/a',
    ]

Я хочу нажать на ссылку 

    def __init__(self):
        self.drivers = webdriver.Firefox('C:/Program Files (x86)\Mozilla Firefox')

Я хочу нажать на ссылку 

def parse(self, response):
    for title in response.css('div.tabledivinlineblock a.tablelink50::attr(href)').extract():
        yield {'title': title,
               'response': response.url
               }

   # i want to click this a tag
    next = self.driver.find_element_by_xpath('//*[@id="maincontent_DataPager"]/a[last()]')

    # follow pagination links
    # for href in response.css('span#maincontent_DataPager a:last-child'):
    #
    #     yield response.follow(href, self.parse)

    next_page = response.css('span#maincontent_DataPager a:last-child::attr(href)').extract_first().strip()
    if next_page is not None:
        yield response.follow(next_page, callback=self.parse)

1 Ответ

0 голосов
/ 26 сентября 2018

Следующий скрипт должен получить нужные вам элементы, исчерпав все клики, связанные со ссылкой на следующую страницу.Вы не можете использовать здесь response.follow(), так как нет ссылки, по которой нужно перейти, кроме как щелкнуть по нему. 

import time
import scrapy
from selenium import webdriver

class QuotesSpider(scrapy.Spider):
    name = "quotes"
    start_urls = [
        'http://ozhat-turkiye.com/en/brands/a',
    ]

    def __init__(self):
        self.driver = webdriver.Firefox()

    def parse(self, response):
        self.driver.get(response.url)
        while True:
            time.sleep(5)
            for title in self.driver.find_elements_by_css_selector('div.tabledivinlineblock a.tablelink50'):
                yield {'title': title.text,'response': response.url}

            try:
                self.driver.find_element_by_css_selector('span#maincontent_DataPager a:last-child').click()
            except Exception: break

Я использовал скрытое ожидание в сценарии, который вообще не рекомендуется.Вы должны заменить то же самое на Explicit Wait.

...