Что использовать для проверки HTML-ссылок в большом проекте, в Linux?

Question

У меня есть каталог с> 1000 .html файлами, и я хотел бы проверить все из них на наличие плохих ссылок - желательно с помощью консоли. Какой инструмент вы можете порекомендовать для такой задачи?

Answer 1

вы можете использовать wget, например

wget -r --spider  -o output.log http://somedomain.com

в нижней части файла output.log, он будет указывать, нашел ли wget неработающие ссылки вы можете разобрать, используя awk/grep

Answer 2

Я бы использовал checklink (проект W3C)

Answer 3

Попробуйте webgrep инструменты командной строки или, если вам удобен Perl, модуль HTML :: TagReader того же автора.

Answer 4

Вы можете извлечь ссылки из HTML-файлов, используя текстовый браузер Lynx . Скрипты Bash вокруг этого не должны быть сложными.