Невозможно получить полный текст (до конца страницы) Div, используя селен JavaScript

Question

        List <WebElement> divList = driver.findElements(By.cssSelector("#graphiql-container > div.editorWrap > div.editorBar > div.resultWrap > div > div > div.CodeMirror-scroll"));
        List<WebElement> elements= driver.findElement(By.cssSelector(
                "#graphiql-container > div.editorWrap > div.editorBar > div.resultWrap > div > div > div.CodeMirror-scroll"))
                .findElements(By.xpath(".//*"));
        for (WebElement webElement : elements) {
            System.out.println(webElement.getText());
        }

Я использую приведенный выше код, чтобы получить весь текст определенного div, однако строка здесь возвращает только видимый текст, однако до конца страницы еще больше данных, но он не возвращает его.Есть ли способ, которым мы можем этого достичь?Короче говоря, я хочу получить полный текст определенного раздела веб-страницы до конца.

Answer 1

Вот мой недавно законченный пакет Java HTML Scrape.Обратите внимание, что это не javascript, а java.

http://developer.torello.directory/JavaHTML/index.html

Это обеспечивает действительно простой способ взаимодействия с HTML-страницами, которые управляются контентом на веб-сайте.Использует регулярные выражения для преобразования Raw-HTML в простой Java-вектор.

Чтобы получить «текст» любого узла «DIV» на HTML-странице.

import Torello.HTML.*;

public class Scrape
{
  public static void main(String[] argv) throws IOException
  {
    Vector<HTMLNode> page = HTMLPage.getPageTokens(new java.net.URL("Your-URL"), false);
    int pos = InnerTagFind.first(page, "div", "class", TextTester.EQ, "div-class-constraint");
    HTMLNode n;
    // This will print all Text that follows the particular HTML <DIV CLASS="...">
    // View the scrape class documentation for other functions.
    for (int i=pos; i < page.size(); i++)
      if ((n = page.elementAt(i)) instanceof TextNode)
        System.out.println(n.str);
  }