Мой скребок ведет себя не правильно. Страница имеет несколько записей на странице, и скребок должен щелкнуть по каждой записи и получить информацию с подробной страницы, а затем go перейти к следующей записи. Затем измените номер страницы, когда все записи будут закончены. Кроме того, есть некоторая информация, полученная из вызова API во время этого процесса. Но почему-то кодирование не go на подстранице каждый раз, и у меня есть ощущение, что реализация ответа не является правильной. Он просто остается в первом "parse" l oop и иногда переходит в "parse_property", а иногда в "get_additional_price".
Некоторые важные c фрагменты кода:
def start_requests(self):
yield scrapy.Request(self.url)
def parse(self, response):
...
yield response.follow(url=item['url'], callback=self.parse_property, meta={'item': item})
...
yield scrapy.Request(next_page, callback=self.parse)
Данные подстраницы:
def parse_property(self, response):
...
yield response.follow(url=url, callback=self.get_addition_price, meta={'item': item})
Данные API:
def get_addition_price(self, response):
...
yield item
Это правильный путь?