Я знаю, что это старый вопрос, но если кто-то ищет существующий веб-сканер, который делает это, знайте, что Norconex HTTP Collector - это веб-сканер, поддерживающий аутентификацию на основе форм. Вы можете указать свои начальные URL-адреса в дополнение к URL-адресу формы входа. Он будет входить в систему и сканировать ваш сайт / URL-адреса, как вы ожидаете. Он будет следовать либо всем ссылкам, либо только тем, которые соответствуют вашим критериям (шаблон регулярных выражений, максимальные URL-адреса, максимальная глубина и т. Д.). Он может интегрироваться с различными поисковыми системами (Solr, Elasticsearch, Autonomy IDOL и т. Д.) Или вы можете сами определить, что делать с просканированными документами.