Я смог произвести полезный вывод с помощью следующей команды:
$ wget --spider -r -nv -nd -np http://localhost:3209/ 2>&1 | ack -o '(?<=URL:)\S+'
http://localhost:3209/
http://localhost:3209/robots.txt
http://localhost:3209/agenda/2008/08
http://localhost:3209/agenda/2008/10
http://localhost:3209/agenda/2008/09/01
http://localhost:3209/agenda/2008/09/02
http://localhost:3209/agenda/2008/09/03
^C
Краткий справочник по wget
аргументам:
# --spider don't download anything.
# -r, --recursive specify recursive download.
# -nv, --no-verbose turn off verboseness, without being quiet.
# -nd, --no-directories don't create directories.
# -np, --no-parent don't ascend to the parent directory.
О ack
ack
похоже на grep
, но используйте perl
регулярные выражения, которые являются более полными / мощными.
-o
говорит ack
выводить только совпадающую подстроку, и шаблон, который я использовал, ищет все, что не является пробелом, перед которым стоит 'URL:'