При очистке я использую промежуточное прокси-сервер Random для Scrapy (https://github.com/aivarsk/scrapy-proxies).
Сначала я получаю list.txt (список прокси), соскребая сайт free-proxy (без вращения прокси)
Затем я делаю соскоб другого сайта, (с прокси вращением)
Когда я запускаю его в двух разных проектах Scrapy, он работает хорошо.
Вопрос в том, как совместить получение прокси и очистку в одном проекте scrapy или есть другой способ справиться с этим?
Я пытался запустить его вместе в одном проекте Scrapy, к сожалению, он не работает. Вероятно потому, что в этом случае scrapy-proxy пытается использовать list.txt для ротации прокси, который в данный момент пуст по запросу на free-proxy-site.