1. links
- это текстовый веб-браузер. Команда -dump
заставляет links
выводить текст веб-страницы на терминал, а следующая команда grep
выводит любую строку, содержащую слова "СПЕЦИАЛЬНОЕ ПРЕДЛОЖЕНИЕ" и следующую строку (-A1
означает "и 1 После строки ").
2. Вы можете сделать паук на сайте, используя сценарии оболочки, используя links
или аналогичный для извлечения веб-страниц и вывода их URL. (Я сделал это для сценария проверки орфографии на сайте.)
3. Используйте любые инструменты, которые вам больше всего нравятся. Лично я предпочитаю Python для такого рода вещей, но, как я уже сказал, я использовал сценарии оболочки для этого.
4. Законно? Спросите юриста. Этические? Спросите свою совесть.