Моя первая Python Scrapy не может работать

Question

Я новичок в Python и Scrapy. и теперь я работаю над сканированием и должен использовать их обоих. ниже мой код, и никакой вывод не может быть получен. Могу ли я узнать, как я могу решить эту проблему? Заранее спасибо.

 import scrapy
 from loginform import fill_login_form


 class FirstSpider(scrapy.Spider):

    name = 'test'

    login_url = 'URL'
    login_user = 'account'
    login_password = 'password'

    def start_requests(self):
        print('Step 1')
        return scrapy.Request(self.login_url, callback=self.parse_login)

    def parse_login(self, response):
        print('Step 2')
        data, url, method = fill_login_form(response.url, response.body,
                                            self.login_user, self.login_password)

        return scrapy.FormRequest(url, formdata=dict(data),
                           method=method, callback=self.start_crawl)

    def start_crawl(self, response):
        list = response.xpath("//a[@class='menu_section active']/text()").extract()
        print(list)
        if 'back overview' in list:
            print('Good to go')
        else:
            print("Failed")

вывод: процесс завершен с кодом выхода 0

Answer 1

Я предлагаю использовать scrapy shell для отладки вашей программы. попробуйте получить доступ к ответу из оболочки и посмотрите, сможете ли вы получить элементы.