Как создать индивидуальную поисковую систему?

Question

Я хочу создать свое собственное приложение для поисковой системы, где все результаты отображаются пользователю на одной странице (из Google / Bing и т. Д.), В отличие от Google, где оно отображается на разных страницах.существуют ли такие API, которые могут дать мне все эти результаты?

PS.Я использую C # и рассматриваю интерфейс IEnumerator для этого?

Answer 1

Если вы просто хотите иметь возможность предоставлять результаты поиска пользователям, то, вероятно, стоит использовать API, предоставляемые поисковыми системами.Как уже упоминалось, есть API поиска Bing (который я не использовал, но выглядит хорошо), а также API веб-поиска Google .Кроме того, есть Yahoo BOSS , который я нашел очень простым в использовании.Тем не менее, похоже, что BOSS теперь является платным API - поэтому в зависимости от вашего бюджета / намерения он может не подойти.

API веб-поиска Google теперь устарел, но все равно должен работать для небольшого числа запросов -это платформа, на которой построены такие инструменты, как счетчик результатов .Его заменил API пользовательского поиска Google , который в зависимости от ваших потребностей может или не может работать для вас.Я не использовал его, но он выглядит нормально и бесплатен для небольшого числа запросов.

Проблема с сканированием и последующим анализом поисковых страниц состоит в том, что поисковые системы регулярно меняют базовый html страниц результатов поиска.- поэтому любой метод очистки экрана будет довольно хрупким.Кроме того, условия обслуживания большинства коммерческих поисковых систем запрещают автоматический доступ - если вы все равно продолжите, они вполне могут заблокировать ваш сканер.Эти две проблемы, вероятно, являются причиной того, что удивительные сторонние API для синтаксического анализа на самом деле не существуют.

Answer 2

Что вы можете сделать, это получить данные из различных API (bing / google и т. Д.), А затем отобразить их пользователю в одном потоке. В противном случае, сканирование поисковых систем является полностью незаконным.

Для Google вы можете перейти к API пользовательского поиска Google или, если у вас есть продукты для поиска, тогда Google Shopping API.

Для Bing существует простой и понятный API.

Answer 3

я работаю в том же проекте.Generate sitemap

 private void SubmitSitemap(string PortalName)
    {
        //PING SEARCH ENGINES TO LET THEM KNOW WE UPDATED OUR SITEMAP

        //resubmit to google

        System.Net.WebRequest reqGoogle = System.Net.WebRequest.Create("http://www.google.com/webmasters/tools/ping?sitemap=" + HttpUtility.UrlEncode("http://your path'" + PortalName + "'/sitemap.xml"));
        reqGoogle.GetResponse();

        //resubmit to ask

        System.Net.WebRequest reqAsk = System.Net.WebRequest.Create("http://submissions.ask.com/ping?sitemap=" + HttpUtility.UrlEncode("http://your path + "'/sitemap.xml"));
        reqAsk.GetResponse();

        //resubmit to yahoo

        System.Net.WebRequest reqYahoo = System.Net.WebRequest.Create("http://search.yahooapis.com/SiteExplorerService/V1/updateNotification?appid=YahooDemo&url=" + HttpUtility.UrlEncode("http://yourpath/sitemap.xml"));
        reqYahoo.GetResponse();

        //resubmit to bing

        System.Net.WebRequest reqBing = System.Net.WebRequest.Create("http://www.bing.com/webmaster/ping.aspx?siteMap=" + HttpUtility.UrlEncode("http://yourpath + "'/sitemap.xml"));
        reqBing.GetResponse();

    }

Создайте файл robots.txt и поместите его в корневой каталог. Для этой цели также важны имя и другие проблемы.

Answer 4

Bing имеет открытый API http://www.bing.com/developers

Google дает вам API, а затем сразу же забирает его.http://code.google.com/apis/websearch/docs/

API Google устарел, и я думаю, что у них есть еще один, который еще более ограничен.Когда-то у них был API, сравнимый с Bing.

Для конкретного сценария, который вы упомянули, лучше всего сначала разобрать количество результатов, а затем продолжать перебирать страницы.Вам также нужно хорошо обрабатывать ошибки, потому что Google очень часто лжет о количестве результатов, которые он содержит.

Answer 5

проверка ЧАШКА .Это то, что вы ищете?