Я хочу знать, существуют ли какие-либо аутсорсинговые решения для сканера, который будет анализировать только ссылки и страницы с данного веб-сайта и выдаст:
1. Дерево ссылок 2. Страницы (при необходимости)
спасибо!
Вам не нужны какие-либо конкретные рамки для решения этой задачи. Какие языки ты знаешь? Если вы знаете Java, вы можете использовать библиотеки HttpClient или HttpUnit, чтобы помочь вам в выполнении задач сканирования.
Если вы являетесь пользователем python, есть отличная среда под названием Scrapy (http://scrapy.org/). Вы должны проверить это.