Какие бесплатные / платные поисковые API предоставляют программные запросы и кэширование / хранение полученных данных?

Question

Если вы провели какое-либо серьезное исследование API поиска, вы знаете, что большинство из них имеют огромное количество ограничений TOS / TOU, которые делают их практически невозможными для использования ни в чем, кроме самых бессмысленных приложений.

API Bing 2.0, Yahoo Search BOSS, Google Places, Google AJAX Search (мертвый) и др. Слишком ограничительны для нас. Мне нужно выполнить ограниченное и относительно небольшое количество запросов (возможно, 500 тыс.) Только один раз, сохраняя конкретные данные из результатов для использования в нашем приложении.

Например, нам нужно сопоставить названия компаний с их целевыми веб-сайтами (мы написали алгоритм, чтобы сделать «наилучшее предположение» из набора результатов при необходимости; нам просто нужен ванильный набор результатов). Кроме того, нам нужно сопоставить адрес этой компании.

К сожалению, я могу найти API поиска ZERO, которые позволят нам запускать запросы программным способом, не инициируемым пользователем.

Мы даже очень хотим дать кому-то холодные наличные за доступ к данным такого рода; Google, Bing, Yahoo и другие, похоже, просто не хотят наших денег (о чем свидетельствуют их TOS) ...

Есть мысли?

Answer 1

Свободно доступный индекс из 5 миллиардов веб-страниц, их рейтинга страниц, графиков ссылок и других метаданных, размещенный на Amazon EC2.

http://commoncrawl.org/

Условия предоставления услуг (или TOU) также достаточно разумны и неограниченны:

http://commoncrawl.org/about/terms-of-use/

Answer 2

Если вы знаете некоторые визуальные основы, я бы посоветовал поиграть с Bing Ad Intelligence .Это бесплатный плагин для Excel, и все, что вам нужно для его использования - это бесплатная учетная запись Microsoft.

Предел запроса составляет 20 000 слов на запрос.Вы можете получить информацию о кликах, показах, CTR, цене за клик, средней ставке и общей стоимости.Предел запроса немного ниже, если вы используете более продвинутые функции исследования ключевых слов.