Вот мои настройки:
CONCURRENT_REQUESTS = 64
CONCURRENT_REQUESTS_PER_DOMAIN = 100
Я хочу загрузить requests и обработать response на spider параллельно. Но это не работает. Потому что он отправляется на Item Pipeline, который обрабатывает его через несколько компонентов, которые выполняются последовательно!