Я использую windows и установил scrapy deltafetch и включил его в моем файле settings.py
SPIDER_MIDDLEWARES = {
# 'coal.middlewares.CoalSpiderMiddleware': 543,
'scrapy_deltafetch.DeltaFetch': 100,
}
DELTAFETCH_ENABLED = True
Другие мои настройки:
FEED_FORMAT = 'csv'
FEED_URI = 'coal.csv'
Я выполняю свою spider, используя приведенный ниже скрипт, но одни и те же элементы удаляются после того, как я запускаю его несколько раз.
if __name__ == "__main__":
process = CrawlerProcess(get_project_settings())
process.crawl(NqbpSpider)
process.start() # the script will block here until the crawling is finished
Как отладить, почему deltafetch не работает?