Я использую scrapy и splash, чтобы сканировать все URL на сайте.На каком-то сайте со статическим html, он работает очень хорошо!Но когда я просканировал какой-то веб-сайт, у него есть страница AJAX и html5, я не могу получить URL (например: http://testphp.vulnweb.com/AJAX/, http://testhtml5.vulnweb.com). У кого-нибудь есть решение этой проблемы? Большое спасибо!
Использование Запрос package-python
Вы можете сгенерировать запрос контента и получить ответ.
Пример кода здесь