Java веб-сканер и скребок

Question

Мое намерение состоит в том, чтобы прочитать информацию о стоимости продукта с различных веб-сайтов, чтобы я мог отобразить информацию о сравнении стоимости на html-странице моего приложения Spring.Может кто-нибудь подсказать мне, как это сделать.Есть ли технологии для достижения этой цели?так что я всегда могу читать обновленные данные с других сайтов и отображать их в своем приложении Spring.Я видел некоторые инструменты веб-скребка как расширение Chrome, но оно генерирует книгу Excel.как я могу использовать его в приложении Spring и отобразить на HTML-странице?

Answer 1

Существует множество доступных сканеров с открытым исходным кодом на основе Java и python, которые вы можете настроить в соответствии со своими требованиями, некоторые из которых указаны ниже.

Apache Nutch
StormCrawler
Jsoup
Jaunt

в вашем случае, так как вам нужен толькоцену на странице продукта вы можете создать самостоятельно, используя JSoup, фреймворк, доступный в Java, или модуль Beautiful Soup в Python.

, если масштаб не имеет значения, и вы просто хотите сканировать некоторые страницы ежедневноЯ рекомендую создать свой собственный гусеничный ход.в противном случае вы можете использовать Nutch или StormCrawler

. Также для нестандартных приложений не используйте несколько селекторов для разных веб-страниц, просто найдите общий тег, CSS или шаблон, который даст вам цену.

Answer 2

Вы можете отправлять http запросы из вашего весеннего приложения и анализировать ответы, обновляя данные. Или вы можете использовать любой внешний инструмент, который будет обрабатывать все, что вы хотите, и сохранять результаты (например, в виде рабочей книги Excel), и ваше приложение будет считывать эти результаты и обрабатывать их так, как вы хотите.