Почему сканирование relatedwords.org не дает результатов? - PullRequest
Новая
       170

Почему сканирование relatedwords.org не дает результатов?

0 голосов
/ 21 июня 2020

Я пытаюсь просканировать веб-сайт relatedwords.org на предмет похожих слов, но блоки, в которых отображаются эти слова, отсутствуют в исходном коде. Вот код, который я использую: 

public class SimilarWords {

public static void main(String[] args) throws IOException {

    Document homePage = Jsoup.connect("https://relatedwords.org/relatedto/towing").ignoreHttpErrors(true).get();

    System.out.println(homePage);

}

}

В чем может быть причина?

1 Ответ

1 голос
/ 21 июня 2020

Вы в основном запрашиваете неправильный URL.

https://relatedwords.org/relatedto/towing возвращает то же, что и https://relatedwords.org

Если вы проверите запросы, сделанные браузером, вы увидите запрос XHR, который запрос фактических ответов на искомый термин: https://relatedwords.org/api/related?term=towing

Это URL-адрес, который вы должны запросить. Он возвращает ваши данные аккуратно в формате JSON.

Вы можете проверить запросы с помощью инструмента разработчика в браузере. Нажмите F12 введите описание изображения здесь

...