Как запустить одну и ту же функцию дважды с разными request.meta в Scrapy

Question

У меня есть одна функция, которую нужно запустить дважды с другим request.meta в scrapy

request = scrapy.Request(tournament_url, callback=self.parse_tournament)
request.meta['data'] = team1_data
yield request

request1 = scrapy.Request(tournament_url, callback=self.parse_tournament)
request1.meta['data'] = team2_data
yield request1

На данный момент работает только первый запрос!

Answer 1

Вы захотите включить dont_filter во 2-й Request, чтобы Scopy DupeFilter не сбрасывал уже увиденный URL:

request1 = scrapy.Request(tournament_url, callback=self.parse_tournament,
                          dont_filter=True)
request1.meta['data'] = team2_data
yield request