Скрипт или фрагмент кода, чтобы получить быстрый список ссылок на страницу на сайте

Question

Как быстро создать отчет о веб-сайте в формате:

Page Name.
- Links within the page

Page Name.
- Links within the page

Подойдет любой язык программирования или сценариев.

Хотя я предпочитаю решение для Windows, у нас есть все: платформы Windows, Mac и Linux, доступные в офисе.

Просто ищу способ сделать это без особой помпы.

Answer 1

Есть множество анализаторов ссылок, которые будут делать именно это. Вот первое, что я нашел в Google.

Для чего-то более интересного Дон Сайм сделал отличную демонстрацию F #, в которой он написал действительно простой класс обработки асинхронных URL-адресов.Я не могу найти точную ссылку, но вот что-то похожее из F # MVP.Вам нужно будет адаптировать его для извлечения ссылок и рекурсивного следования им, если вы хотите вложение.

Answer 2

Могут быть инструменты, способные сделать это для вас, но собрать их не так уж сложно. Одним из возможных решений было бы ...

1. Используйте wget (можно найти для Windows), чтобы загрузить все файлы HTML, и
2. используйте некоторый инструмент xpath или grep с регулярными выражениями, чтобы получить заголовок и ссылки со страниц.

/// Jens