Получить все действительные ссылки из домена

Question

У меня есть сайт на домене raymond.li . Мне нужен полный список всех URL, поэтому я попробовал что-то вроде

wget -r --spider raymond.li

Я также пробовал онлайн-генераторы карт сайта, но такая страница, как , эта никогда не появляется во всех, что я пробовал.

Как получить полный список всех доступных URL-адресов в домене?

Answer 1

Вы можете использовать карту сайта, которая в основном представляет собой список XML каждого URL в указанном домене. Тем не менее, нет никакого общего решения, кроме сканирования. Обязательно используйте robots.txt, если вы используете сканер.