Наше приложение (C # /. NET) требует много запросов для поиска. Политики Google в 50000 в день недостаточно. Нам нужно что-то, что могло бы сканировать интернет-сайты по определенным нами правилам (например, для доменов стран) и собирать URL-адреса, тексты, ключевые слова, названия веб-сайтов и создавать наш собственный внутренний каталог, чтобы мы не были ограничены какой-либо массовой внешней поисковой системой как Google или Yahoo.
Есть ли какое-нибудь бесплатное решение с открытым исходным кодом, которое мы могли бы использовать, чтобы установить его на наш сервер?
Нет смысла заново изобретать колесо.