Как сканировать сайт ajax с использованием Apache Nutch

Question

Я хочу просканировать этот сайт: https://511.org/alerts/traffic/incidents, используя Apache Nutch.Веб-страница имеет динамически загружаемый контент AJAX.Если я сканирую его с настройками по умолчанию, Nutch просто приносит верхние и нижние колонтитулы, и динамически загружаемый контент теряется.Я использую Nutch 1.14.

Answer 1

С Nutch 1.14 вы можете использовать плагины Nutch Selenium или Nutch Interactive Selenium для сканирования страниц с динамически загружаемыми элементами.