Я использую кластер скрапинга и индивидуальный код для скрапинга нескольких разных сайтови я столкнулся с проблемой ниже (ec2 1spider и ec2 2spider).
1) есть 2 экземпляра ec2, работающие в aws, и в обоих ec2 установлен scrappy и один redis сообщает об этом 2) у меня 2 разных веб-сайтаПример сайта Abc.com и сайта Bcd.com теперь, когда оба сообщения приходят на redis ec2 1spider будет обрабатывать оба сайта, почему ec2 2spider простаивает?как решить эту проблему.
Мне нужно, чтобы оба сообщения выбора экземпляра ec2 были по одному на каждом примере. Сайт abc.com должен обрабатываться ec2 1spider, а bcd.com обрабатываться ec2 2spider или наоборот