Проблема производительности Selenium (более 1000 экземпляров) - PullRequest
0 голосов
/ 18 октября 2018

Мне нужно запустить 1000 экземпляров селена для моего проекта.

Каждый сеанс Chrome потребляет 300-500 МБ памяти, то есть всего 300-500 ГБ памяти.Я планирую купить 3 сервера с объемом памяти 128 ГБ для его запуска.

Я уже купил подержанный сервер (процессор: Xeon E5670x2, ddr3 144 ГБ) для тестирования.и установите 35 узлов на сервере, установите максимальные значения 10 для каждого узла.таким образом, план состоит в том, чтобы вызвать 350 экземпляров на этом сервере.

Теперь проблема заключается в том, что процессор уже достиг 100%, когда сервер запускает около 100 экземпляров.

Я уже пробовал следующие вещи:

1, хромированная безголовая

2, отключить изображения

3,
optionChrome.AddArgument("--disable-dev-shm-usage"); optionChrome.AddArgument("--no-sandbox"); optionChrome.AddArgument("--headless"); optionChrome.AddArgument("--disable-gpu"); optionChrome.AddArgument("--disable-infobars");

Что я могу сделать дальше, чтобы улучшить производительность?

...