Java Selenium Chromedriver webdriver максимально быстро

Question

Я подключаю отдельную программу к веб-сайту, и мне нужно прочитать некоторые страницы веб-сайта.Сначала я использовал Jsoup, но с этим я обнаружил, что некоторая информация, которая мне нужна, загружается после загрузки страницы, поэтому я искал веб-драйверы.(Я не ищу изображения или что-то большое, мой контент весь текстовый)

Теперь я нашел ChromeDriver, но он слишком медленный для моего случая, потому что он имеет много опций и функций.В моем случае мне нужно на шаг больше, чем возможности Jsoup.Можно ли отключить лучшую часть параметров и функций ChromeDriver для достижения этой цели?

Например, я видел отключение плагина, но он один за другим и не для каждого браузера Chrome на каждом ПК.Я не нашел такой опции, как «plugin.disable-all».

Более того, таким образом я не могу открыть больше, чем несколько экземпляров chromedriver.В этот момент каждый экземпляр chromedriver открывает Google Chrome Helper, который использует 100 Мб оперативной памяти.

Надеюсь, все ясно

Answer 1

HtmlUnit может быть достаточно для ваших нужд.Он поддерживает некоторые Javascript.

Может использоваться с Webdriver .Но вполне может быть достаточно само по себе

Answer 2

Чтобы ваш веб-драйвер работал быстрее (но не , что намного быстрее), вы можете запустить драйвер в режиме без головы.См. эти статьи для обучения тому, как перейти в режим без головы для Chrome.

Перед запуском драйвера добавьте аргумент --headless в ChromeOptions.

Безголовый режим может ускорить вашу автоматизацию, не рендерируя окно браузера, но имейте в виду, что выполнение прямого HTTP GET с JSoup всегда будет быстрее.

Мой совет - обратный инжинирингнемного больше, и посмотрите, сможете ли вы выяснить, как напрямую запрашивать то, что (предположительно, AJAX) вызывает на странице.Если вы можете обрабатывать эти конкретные запросы как API и запрашивать только то, что вам нужно, вы сможете получать результаты быстрее, чем с помощью автоматизации браузера с помощью Selenium.