селен вебдрайвер не находит правильное количество элементов - PullRequest
Новая
       16

селен вебдрайвер не находит правильное количество элементов

0 голосов
/ 20 июня 2019

Первоначально я разместил свой вопрос здесь:

Извлечение содержимого с динамического веб-сайта с использованием библиотеки Java

Затем, после чтения и применения информации извопрос ниже:

Selenium Webdriver: не отображаются правильные элементы Li

Я установил драйвер селен-хром (Version ChromeDriver 74.0.3729.6), мой браузер Chrome имеет версию 74.0.3729.169.Java-объект selenium WebDriver по-прежнему не может правильно определить количество элементов на моей веб-странице, хотя я имитировал прокрутку вниз, и браузер Chrome, который открывал драйвер, правильно отображал общее количество 20 элементов. 

    import java.util.List;

    import org.openqa.selenium.By;
    import org.openqa.selenium.WebDriver;
    import org.openqa.selenium.WebElement;
    import org.openqa.selenium.chrome.ChromeDriver;
    import org.openqa.selenium.support.ui.ExpectedConditions;
    import org.openqa.selenium.support.ui.WebDriverWait;

     public class ImmoweltBot {

    public static final String URL2 = "https://www.immowelt.at/liste/wien-2-leopoldstadt/wohnungen/mieten?sort=price&cp=2";


    public static void main(String[] args) throws Exception {
        System.setProperty("webdriver.chrome.driver", "C:\\Temp\\chromedriver.exe");

        WebDriver webDriver = new ChromeDriver();
        webDriver.get(URL2);
        WebDriverWait wait = new WebDriverWait(webDriver, 15);
        By searchResults = By.xpath("//*[contains(@class, 'listitem clear relative js-listitem')]");

        JavascriptExecutor js = (JavascriptExecutor)webDriver;
        webDriver.manage().window().maximize();
        js.executeScript("window.scrollBy(0,1000)");

        wait.until(ExpectedConditions.numberOfElementsToBeMoreThan(searchResults, 4));
        List<WebElement> elemnts = webDriver.findElements(searchResults);
        System.out.println(elemnts.size());
    }

}

Моя веб-страница:

https://www.immowelt.at/liste/wien-2-leopoldstadt/wohnungen/mieten?sort=price&cp=2

Любая помощь будет оценена.Спасибо!

Ответы [ 2 ]

1 голос
/ 20 июня 2019

Спасибо за этот вопрос, это было так сложно. Так вот мое решение. Это JS, чтобы сгладить прокрутку, пока вниз. 

(async function() {
function sleep() {
    return new Promise(resolve => setTimeout(resolve, 500))
};
var height;
do {
    height = document.body.scrollHeight;
    window.scrollTo({
        "behavior": "smooth",
        "left": 0,
        "top": document.body.scrollHeight
    });
    await sleep()
} while (height != document.body.scrollHeight)})();

Я использовал асинхронную функцию, потому что chomedriver.executeScript () хочет, чтобы асинхронная функция использовала оператор 'await'. 

String scrollWhileScrollsJS = "(async function(){function sleep(){return new Promise(resolve=>setTimeout(resolve,500))};var height;do{height=document.body.scrollHeight;window.scrollTo({\"behavior\":\"smooth\",\"left\":0,\"top\":document.body.scrollHeight});await sleep()}while(height!=document.body.scrollHeight)})();";
( (ChromeDriver) webDriver ).executeScript( scrollWhileScrollsJS );

И, конечно, нам нужно свободное ожидание. Для этого я обнаружил, что «scrollY» будет равно «document.body.scrollHeight-innerHeight» только тогда, когда мы находимся в нижней части страницы. 

new FluentWait<>( webDriver ).withTimeout( Duration.ofSeconds( 10 ) )
                             .pollingEvery( Duration.ofMillis( 500 ) )
                             .until( result -> ( (ChromeDriver) webDriver ).executeScript( "return scrollY" ).equals( ( (ChromeDriver) webDriver ).executeScript( "return document.body.scrollHeight-innerHeight" ) ) );

В результате вы можете использовать этот код для прокрутки страницы, дождаться ее прокрутки до конца и получить элементы, не зная, сколько их должно быть.

PS: пожалуйста, не ... я имею в виду, действительно, НЕ используйте while (true) в ваших тестах автоматизации.

1 голос
/ 20 июня 2019

Это немного сложно. Вам нужно использовать бесконечный цикл, чтобы проверить размер элементов () и прокрутить страницу вниз, когда она достигнет 20, она выпадет из цикла. 

WebDriver driver = new ChromeDriver();
driver.get("https://www.immowelt.at/liste/wien-2-leopoldstadt/wohnungen/mieten?sort=price&cp=2");
WebDriverWait wait = new WebDriverWait(driver, 15);

while(true){

  List<WebElement> elemnts=wait.until(ExpectedConditions.presenceOfAllElementsLocatedBy(By.xpath("//div[contains(@class, 'listitem clear relative js-listitem')]")));                               

   driver.findElement(By.tagName("body")).sendKeys(Keys.DOWN);

   if (elemnts.size()==20)
       {
          System.out.println(elemnts.size());   
          break;
       }               

        }
...