Как я могу понять, почему Scrap Deltafetch по-прежнему возвращает ранее очищенные элементы - PullRequest
0 голосов
/ 27 февраля 2020

Я использую windows и установил scrapy deltafetch и включил его в моем файле settings.py

SPIDER_MIDDLEWARES = {
#    'coal.middlewares.CoalSpiderMiddleware': 543,
    'scrapy_deltafetch.DeltaFetch': 100,
}
DELTAFETCH_ENABLED = True

Другие мои настройки:

FEED_FORMAT = 'csv'
FEED_URI = 'coal.csv'

Я выполняю свою spider, используя приведенный ниже скрипт, но одни и те же элементы удаляются после того, как я запускаю его несколько раз.

if __name__ == "__main__":
    process = CrawlerProcess(get_project_settings())
    process.crawl(NqbpSpider)
    process.start() # the script will block here until the crawling is finished

Как отладить, почему deltafetch не работает?

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...