Как полностью выйти из оболочки Scrapy? - PullRequest
Новая
       23

Как полностью выйти из оболочки Scrapy?

0 голосов
/ 20 января 2020

Я запускаю свою оболочку с помощью функции inspect_response (). Я хотел бы выйти из оболочки Scrapy, поэтому для этого я использую Ctrl-D (или Ctrl-Z в Windows). Однако я не могу сделать это полностью, потому что Spider сканирует последовательные URL, поэтому выполняются новые оболочки Scrapy. Знаете ли вы какие-либо ярлыки для этого без закрытия терминала? 

 def parse_volumes(self, response):
    all_issues = response.css('h6 a')
    for issue in all_issues:
        issue_url = issue.css('::attr(href)').get()
        yield scrapy.Request(issue_url, callback = self.parse_issue)

def parse_issue(self, response):
    for article in response.css('tr'):
        access = article.css('.accessIconContainer div').xpath('./img/@alt').get()
        inspect_response(response, self)
...