Последователи Selenium instagram выбрасывают устаревшие ссылки на элементы

Question

Я нахожусь в процессе сбора данных для машинного обучения, и я борюсь с поиском данных на одной из страниц социальной сети. Я в порядке, пока 12-й последователь не сработает.

Метод driver.findElement (By.xpath ... перестает работать с 13-м элементом, даже если он прокручивается. Может кто-нибудь указать мне причина этого не видна? Вот к чему я дошел до сих пор:

import org.openqa.selenium.*;
import org.openqa.selenium.chrome.ChromeDriver;
import org.openqa.selenium.chrome.ChromeOptions;
import org.openqa.selenium.interactions.Actions;
import org.openqa.selenium.support.ui.ExpectedConditions;
import org.openqa.selenium.support.ui.WebDriverWait;

public class Testing {

public static ChromeOptions options;
public static WebDriver driver;

public static void setup() {
    System.setProperty("webdriver.chrome.driver", "resources/Drivers/chromedriver.exe");
    options = new ChromeOptions();
    driver = new ChromeDriver(options);
    driver.get("https://www.instagram.com/accounts/login/");
}

public static void login() throws Exception {
    String name = "xxxxxx";
    String password = "xxxxxxx";
    Thread.sleep(2000);
    driver.findElement(By.name("username")).sendKeys(name);
    driver.findElement(By.name("password")).sendKeys(password);
    driver.findElement(By.tagName("form")).click();
    WebDriverWait wait = new WebDriverWait(driver, 15);
    wait.until(ExpectedConditions.presenceOfElementLocated(By.linkText("See All")));
   driver.get(String.format("https://www.instagram.com/officialrickastley/"));
    driver.findElement(By.partialLinkText("follower")).click();
try {
    Thread.sleep(3000);
    for (int j = 1; j < 1000; j += 11) {
        System.out.println("j " + j);
        WebElement element = driver.findElement(By.xpath(("/html/body/div[4]/div/div[2]/ul/div/li[" + (j) + "]/div/div[2]/div[1]/div/div/a")));
        Actions actions = new Actions(driver);
        actions.moveToElement(element);
        actions.perform();
        for (int i = 1; i < 12; i++) {
            System.out.println("user: " + i + " " + driver.findElement(By.xpath(("/html/body/div[4]/div/div[2]/ul/div/li[" + (i + j) + "]/div/div[2]/div[1]/div/div/a")))
                    .getAttribute("title"));
            Thread.sleep(300);
        }
    }
} catch (Exception e) {
    e.printStackTrace();
} finally {
    driver.close();
  }
   }
}

Answer 1

пожалуйста, попробуйте добавить явное ожидание, пока элемент не станет видимым, а затем выполните требуемое действие.

    wait.until(ExpectedConditions.visibilityOfElementLocated(By.xpath("ur xpath here")));