Я использую скребок Python Scrapy на виртуальной машине Ubuntu.Он может очищать ~ 200 страниц с веб-сайта за раз, даже если я установлю одновременные соединения на 10000. Если я запущу другой процесс с тем же шабером, то эти 2 процесса по существу разделят эти 200 страниц в минуту между двумя процессами -по-прежнему не увеличивается общее количество одновременных подключений.Однако, если я запускаю новую виртуальную машину (с тем же IP-адресом, что и у другой виртуальной машины), две виртуальные машины в комбинации могут установить 400 одновременных подключений.Кто-нибудь знает, что может быть причиной этого ограничения или как его обойти?
Я попытался дать совет в этом вопросе: увеличить количество соединений Ubuntu tcp / ip без всякой удачи. Увеличение максимального количества соединений TCP / IP в Linux