Привязать разные IP-адреса к паукам

Question

Как я могу связать разные публичные ip-адреса с пауком-скрапом?И, кроме того, возможно ли установить ограничение скорости для каждого исходного ip (например, CONCURRENT_REQUESTS_PER_SOURCE_IP).

Из документации scrapy, CONCURRENT_REQUESTS_PER_DOMAIN и CONCURRENT_REQUESTS_PER_IP, похоже, работают с целевым доменом и целевым ip * 100 *.

Answer 1

Это возможно, но требует, чтобы вы немного изменили ядро ​​Scrapy.Кто-то еще сделал предложение об изменении некоторое время назад, но оно никогда не делало его, судя по текущему источнику.

С информацией в этом предложении об изменении вы сможете исправитьсебя через пару минут.

Хотя предложение об изменении уже более 1,5 лет, текущий источник отредактированных файлов для этого конкретного предложения все еще очень похож.