Как разобрать загружаемый список с веб-сайта?

Question

Есть веб-сайт со списком <ul> (который загружается при прокрутке до конца). В <ul> из 1800 000 пунктов <li>, нужно разобрать все. Я использую класс Robot и метод mouseWheel, но компьютер зависает на 50000 больше. Завершение чрезвычайно долго. Я использую метод

public void scrollToEnd() {
        robot.mouseWheel(100000);
    }

Есть ли лучшие решения?

Answer 1

Работа с Селеном надолго. mouseWheel () не работает в некоторых случаях. Я использую это

((JavascriptExecutor) webDriver).executeScript("window.scrollBy(0, -10000)");

Итак, вы прокручиваете вниз и проверяете, является ли ваш элемент видимым или кликабельным, что вам нужно

ExpectedConditions.visibilityOf(webElement)