Попытка получить все g-ссылку из ответа Google - PullRequest
Новая
       10

Попытка получить все g-ссылку из ответа Google

0 голосов
/ 19 января 2020

Я использовал следующий код для генерации ответа от Google на конкретный c поиск: 

String userInput="Lemon Bars";
String google = "http://www.google.com/search?q=";
Connection.Response response =Jsoup.connect(google+userInput)
    .ignoreContentType(true)
    .userAgent("Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:25.0) Gecko/20100101 Firefox/25.0")
    .referrer("http://www.google.com")
    .timeout(12000)
    .followRedirects(true)
    .execute();

Я пытаюсь получить доступ ко всем элементам типа g-links, чтобы иметь возможность собрать все их и вычислить некоторые логики c на основе значений этих DOM. (Я не могу получить эти элементы, и я не знаю, в чем проблема. Как только я смогу получить эти элементы, я хотел бы собрать больше только первые 3 карты (которые являются видимыми картами по умолчанию), как будто я нажал кнопку кнопку «показать больше» примерно 3 раза, чтобы я мог собрать не менее 30 элементов g-link. deafult 3 links and getting more

это выбор, который я пробовал: Elements links = doc.select("g-link");, который возвращает 0 элементов

1 Ответ

0 голосов
/ 20 января 2020

Очевидно, что при поиске в Google, как я это делал здесь, я не получаю ту же страницу, что и поиск в браузере.

Я думаю, что часть страницы создается с помощью сценариев (Ленивая загрузка ) или в браузере.

Простая причина, по которой я не могу получить элементы g-link из моего HTML источника, заключается в том, что его нет в источнике, который я получил с помощью следующего метода

...