как сканировать сеть и получить список сайтов, у которых есть ключевые слова

Question

Мне нужно отсканировать весь интернет и получить ссылки сайтов, на которых есть несколько ключевых слов в моем словаре.

Мне нужно, чтобы URL-адреса и другие файлы динамически выбирались из Интернета. Может ли кто-нибудь предложить мне процедуру или инструмент, который может сделать это для меня.

Answer 1

Проверьте это: -

• Lucene / apache Solr для индексации.
• Модуль Perl LWP LWP