Как получить ответ в скрапе после щелчка селена для текущей страницы? - PullRequest
0 голосов
/ 27 ноября 2018

Я пытаюсь нажать на кнопку, которая открывает новое окно, где присутствуют фактические данные (вызов AJAX).Как получить данные ответа с текущей страницы?Как извлечь данные, используя response.css?Заранее спасибо.

import scrapy
from selenium import webdriver
import os
import time
from scrapy.http import TextResponse


class mySpider(scrapy.Spider):
    name = 'myprogram'
    allowed_domains = ['example.com']
    start_urls = ['https://example.com/def.aspx']

    chromedriver = "/home/ubuntu/chromedriver"
    os.environ["webdriver.chrome.driver"] = chromedriver
    driver = webdriver.Chrome(chromedriver)

    def parse(self, response):
        self.driver.get(response.url)
        time.sleep(5)

        next = self.driver.find_element_by_xpath('//*[@id="btnGetAttr"]')
        next.click()
        time.sleep(5)

        self.driver.switch_to.window(self.driver.window_handles[1])

        # convert current_url data to response in scrapy ????
Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...