Искать файлы с разных сайтов и перечислять их

Question

Я хочу создать поисковую систему для файлов в образовательных целях.Но я не знаю как.Можете ли вы указать мне правильное направление, пожалуйста?Я в курсе скрипа экрана и apis.Я использую asp.net & c # для программирования.

Например, как эта поисковая система выполняет поиск kohit.net и извлекает ссылки.Kohit не предоставляет API или параметры в URL.

Answer 1

На основании вашего примера я бы сказал, что

1. Либо вы получаете API от каждой поисковой системы, которую хотите сканировать, и используете этот API для выполнения поиска по ним, используя ваши условия поиска и отображая результаты
2. Или, если нет возможности использовать API, вы можете получить доступ к их URL-адресу поиска с вставленными в него поисковыми терминами (например, http://search.ie/search.php?search=search+terms) и проанализировать результат, создать список результатов и отобразить его для пользователя. Это наименее любимый из двух методов, так как он, скорее всего, потерпит неудачу при любой реструктуризации кода целевых поисковых систем

Answer 2

Вы можете использовать инструмент, такой как http://www.searchblox.com/, он предоставляет встроенные механизмы очистки и индексации с использованием Apache Lucene / Solr.Интеграция в ASP.NET также довольно проста с использованием его RESTful API.

Если вы хотите создать решение с нуля, вам, возможно, придется рассмотреть вопрос об инструменте паука и написать в поисковой платформе, такой как Lucene / Solrили Сфинкс и запросить их из вашего приложения.Запросить Solr из ASP.NET просто, используя SolrNet .