Знайте, закончен ли один из стартовых URL

Question

Я пользуюсь scrapy и хочу очистить многие URL, и мой вопрос в том, как я могу узнать, что scopy переходит на второй стартовый URL.

start_urls = ['link1', 'link2']

Потому что я хочу выполнить некоторый код при переключении scrapy с link1 на link2.

Спасибо заранее, и извините за мой плохой английский.

Answer 1

Если вы используете start_urls, Scrapy автоматически отправляет запросы асинхронно, что означает, что обратный вызов для link2 может быть вызван раньше, чем link1, поэтому «переключение» между этими ссылками отсутствует.

Если вы хотите, чтобы эти запросы отправлялись в определенном порядке, вы можете сделать следующее:

class MySpider(Spider):
    start_urls = [link1]

    def parse(response):
        # process response

        # execute the code you want to be between processing of link1 and link2

        yield Request(link2, self.parse)