Какие существуют инструменты для сканирования веб-сайта и составления для каждой страницы списка страниц на веб-сайте, которые ссылаются на него?
ruby's mechanize позволяет загрузить страницу, а затем извлечь все ее ссылки с помощью одного вызова функции