Безголовый Java HTTP-клиент для сканирования?

Question

Я ищу инструмент для сканирования, написанный на Java, для обнаружения недействительных URL на наших сайтах.

Сложность в том, что большая часть URL-адресов выполняется с помощью javaScript, CSS3 и Ajax. Так что просто получить содержание URL сайта не получится.

Идеальным вариантом будет безголовый инструмент, способный выполнять вызовы javaScript, CSS и AJAX, а также выкладывать различные URL-адреса, к которым он получал доступ.

Я понимаю, что это высокий заказ, но, может быть, он где-то существует?

Answer 1

Я предлагаю использовать на http://htmlunit.sourceforge.net/,, который сделан для этих вещей.

Answer 2

http://hc.apache.org/httpcomponents-client-ga/index.html