Могу ли я использовать jsoup для подсчета библиотек JavaScript, используемых на веб-страницах, найденных в Google - PullRequest
Новая
       5

Могу ли я использовать jsoup для подсчета библиотек JavaScript, используемых на веб-страницах, найденных в Google

0 голосов
/ 25 августа 2018

Я планирую проанализировать лучшие библиотеки javascript, используемые на веб-страницах, найденных в поиске Google.

Во время первоначального анализа jsoup представляется хорошим выбором для подключения к Google и получениярезультаты поиска.

Кроме того, я хочу перейти к каждому URL-адресу результатов поиска, чтобы получить используемые библиотеки javascript.

Поддерживает ли jsoup поддержку этой функции.Или для моего варианта использования, любые другие библиотеки, которые я могу использовать сверху jsoup.

Примечание : Я нахожусь в фазе анализа, еще не приступил к разработке?

1 Ответ

0 голосов
/ 26 августа 2018

Если вы хотите использовать Jsoup, вы должны убедиться, что страница, которую вы анализируете, не динамически изменяется с помощью javascript. Итак, есть две вещи, которые следует учитывать:

  • Все ли ссылки, которые вы хотите проанализировать, в исходном коде страницы и не добавляются динамически в DOM после загрузки страницы? Вы можете проверить это, отключив JavaScript в вашем браузере и просматривая страницу. Google работает без JavaScript, так что это не проблема.
  • Все ли сценарии находятся в исходном коде страницы, и никакие сценарии не добавляются javascript после загрузки страницы? Вы можете проверить это, проанализировав необработанный источник страниц, видимый в большинстве браузеров, с помощью опции «Просмотр источника» и сравнив свои результаты с тем, что вы получите с помощью firebug / inspector.

Если вы хотите проанализировать много страниц, в результате могут отсутствовать динамически загружаемые библиотеки. Jsoup найдет: 

<script src="jquery-3.3.1.min.js"></script>

но разобрать не будет надежно: 

<script>
    new Element("script", {src: "jquery-3.3.1.min.js", type: "text/javascript"});
</script>

потому что для этого потребуется выполнение javascript.

...