Scrapy поможет соскоб после входа на страницу - PullRequest
0 голосов
/ 04 октября 2018

Я пытаюсь очистить таблицу, которая появляется после страницы входа, с помощью скрапа.Страница входа - http://subscribers.footballguys.com/amember/login.php,, а веб-страница, которую я пытаюсь почистить, - https://subscribers.footballguys.com/myfbg/myweeklycheatsheet.php.

Я пытался следовать учебным пособиям из документации Scrapy , а также здесь , но я не получаю никаких ответов (даже привет).Ниже мой код.Я также могу предоставить любую другую необходимую информацию.Заранее спасибо!

import scrapy


class FbgQbSpider(scrapy.Spider):
    name = 'fbg_qb'
    allowed_domains = ['www.footballguys.com/']
    start_urls = ['http://subscribers.footballguys.com/amember/login.php']

    def parse(self, response):
        return scrapy.FormRequest.from_response(
            response,
            formdata={'amember_login': 'example@gmail.com', 'amember_pass': 'examplepassword'},
            callback=self.after_login
            )

    def after_login(self, response):
        #check login success before going on
        View(response)
        if "authentication failed" in response.body:
            self.logger.error("Login failed")
            return
        fetch("https://subscribers.footballguys.com/myfbg/myweeklycheatsheet.php")
        players = response.css("span::text").extract()

        for item in zip(players):
            scraped_info = {
                'player' : item[0]
                }
            yield scraped_info
            print("hello world")

1 Ответ

0 голосов
/ 04 октября 2018

hello world не печатается из-за проблемы с отступами.

enter image description here

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...