Итеративная терапия методом POST - PullRequest
Новая
       11

Итеративная терапия методом POST

0 голосов
/ 19 марта 2019

Мой код работает, но я точно знаю, как он работает, а затем мне нужно расширить эту функцию ..

Я хочу выполнить цикл методом POST с тем же URL-адресом после входа в систему. 

   class myspider(scrapy.Spider):
    name = 'myspider'
    start_urls = ['login_url']
    target_urls = 'target_url'

    # sent data
    def parse(self, response):
        return scrapy.FormRequest.from_response(
            response,
            formdata={'user': 'x', 'pass': 'y'},
            callback=self.after_login
        )

    # responds after login form sent
    def after_login(self, response):
        if "authentication failed" in response.text:
            self.log("Login failed", level=log.ERROR)
            return
        hxs = scrapy.Selector(response)
        yum = hxs.xpath('//span[@id="userName"]/text()').get()

    # responds after login result extracted
    @classmethod
    def from_crawler(cls, crawler, *args, **kwargs):
        spider = super(spider_new_fee, cls).from_crawler(crawler, *args, **kwargs)
        crawler.signals.connect(spider.spider_idle,
                                signal=scrapy.signals.spider_idle)
        return spider

    # Second parsing
    def spider_idle(self):
        self.crawler.signals.disconnect(self.spider_idle,
                                        signal=scrapy.signals.spider_idle)

        mydata={'param1': param1, 'param2': param2, 'param3': 'param3'}    
        self.crawler.engine.crawl(scrapy.Request(
            url_target,
            method='POST',
            body=json.dumps(mydata),
            headers={'Content-Type':'application/json'},
            callback=self.parse_page2
        ), self)

        raise DontCloseSpider

    # Extract second parsing
    def parse_page2(self, response):
        self.logger.info("Visited %s", response.url)
        hxs = scrapy.Selector(response)
        root = lxml.html.fromstring(response.body)
        lxml.etree.strip_elements(root, lxml.etree.Comment, "script", "head")

        try:
            data= lxml.html.tostring(root, method="text", encoding=str)
        except Exception as e:
            data= lxml.html.tostring(root, method="text", encoding=unicode)

        texts = json.loads(data)
        res={}

        # do something with result

        return res

Этот код работает, я вхожу в систему и получаю следующий URL с логином. Это успешный вход в систему, и успех получает элемент результата внутри URL, а затем после первого (неактивного метода) этот фрагмент следующего URL и, наконец, анализ результат ..

Но idk, это лучший способ отказаться после входа в систему? И какой-нибудь более зрелый код для обработки этой цели? Есть ли хорошее техническое объяснение (мое объяснение слишком простое) ?, и, наконец, как этот код мог бы отказаться от более повторить target_url с другим запросом POST ,, я хочу добавить в методе бездействия, но все равно не удается ,,

некоторые неудачные попытки: 

    multi_param = self.allparam.split("-")
    for param in multi_param:
        self.logger.info("Visited %s", target_url)
        mydata={'param1': param1, 'param2': param2, 'param3': 'param3'}    
        self.crawler.engine.crawl(scrapy.Request(
            url=target_url,
            method='POST',
            body=json.dumps(mydata),
            dont_filter=True,
            callback=self.parse_page2
        ), self)

еще одна неудачная попытка:

Я удалил метод класса функции, и после входа в систему я добавил еще одну записку, это не удалось, потому что он не получил сеанс при входе в систему ..: (

Спасибо за помощь ,,

1 Ответ

0 голосов
/ 19 марта 2019

Я думаю, вам нужно добавить некоторый код в spider_idle, это когда отправляется второй запрос,

что-то вроде: 

    def spider_idle(self):
      allparam = self.listparam.split("-")
      for param in allparam:
        mydata={'param1': param}    
        self.crawler.engine.crawl(scrapy.Request(
            url=self.target_url,
            method='POST',
            body=json.dumps(my_data),
            dont_filter=True,
            headers={'Content-Type':'application/json'},
            callback=self.parse_page2
        ), self)

Это code будет повторять ваш запрос POST,, надеюсь, это поможет ..

...