Я пытаюсь использовать экземпляр EC2 для параллельного запуска нескольких хроматографов Selenium. Когда я запускаю только один, он работает нормально. Но как только я запускаю второй процесс Selenium, оба процесса завершаются сбоем (как, например, после нескольких минут загрузки страниц достигают максимального времени ожидания).
Я использую экземпляр t3.large, который имеет 8 ГБ ОЗУ и 5 Гбит / с пропускной способности сети. Это не дешевый экземпляр и стоит 2 доллара в день. Я удивлен, что с этими спецификациями он не может обрабатывать два одновременных процесса Selenium, потому что у моего персонального ноутбука нет проблем с обработкой процессов 4+ Selenium.
Дополнительная информация: я использую pyvirtualdisplay на коробке EC2.
Интересно, если я что-то здесь упускаю, что приводит к снижению производительности.