Как заставить scrapy ждать результата запроса, прежде чем перейти к следующей строке

Question

В моем пауке у меня есть такой код:

next_page_url = response.follow(
    url=self.start_urls[0][:-1]+str(page_number+1),
    callback=self.next_page
)

if next_page_url:

next_page выглядит так:

def next_page(self, response):
        next_page_count = len(<xpath I use>)
        if next_page_count > 0:
            return True
        else:
            return False

Мне нужно установить next_page_url, прежде чем я смогу продолжить следующий сегменткода. Этот код по существу проверяет, является ли текущая страница последней страницей для некоторых целей записи файла

Answer 1

В итоге я получил ответ:

вместо проверки, существует ли следующая страница, а затем продолжения по текущему запросу, я сделал запрос на странице, проверил, получил ли я ответ, и если янет, я сказал, что предыдущая страница была последней.

Я сделал это, используя ключевое слово meta в библиотеке запросов scrapy (response.follow()), чтобы передать необходимые данные отслеживания текущей страницы вновый запрос