HTTPCACHE не работает при развертывании проекта scrapy на scrapyd

Question

Когда я пытаюсь использовать HTTPCACHE с scrapyd, я получаю следующую ошибку:

[scrapy] WARNING: Disabled Httpcache Middlware: unable to find scrapy.cfg file to infer project data dir

Answer 1

Проблема в том, что http кэширование по умолчанию использует относительный путь httpcache.

Это работает при нормальном запуске паука из командной строки, но не при запуске его как службы.

Решение состоит в том, чтобы установить HTTPCACHE_DIR ^{[документы]} , установив абсолютный путь.