цель - хотите получить все ссылки html с веб-сайта, чтобы создать поддерживаемую Google карту сайта xml.
my soln-, используя приведенную ниже команду для извлечения ссылок
wget --spider --recursive--level = inf --no-verbose --output-file = linklist.txt http://www.myexample.com/home.html
Создание полного списка HTML-ссылок занимает много времени (все еще не в состоянии проверить, сколько).Я прерывал процесс пару раз после более чем 30 часов.Это дало мне только около 50 тысяч ссылок в linklist.txt за 30 часов.Я хочу ускорить процесс.
2nd - он также загружает файлы с dir www.myexample.com в мой рабочий каталог, что мне не полезно.Есть ли способ подавить это.
Любая быстрая помощь приветствуется.Я новичок, прошу прощения за ошибки.