Как правильно реализовать массовый иерархический, географический поиск новостей? - PullRequest
2 голосов
/ 30 марта 2010

Компания, в которой я работаю, занимается рассылкой пресс-релизов. Мы хотим, чтобы заинтересованные стороны могли искать пресс-релизы по ряду критериев, наиболее важным из которых является местоположение. Например, кто-то может искать все новости, отправленные в Нью-Йорк, штат Массачусетс, или почтовый индекс 89134, отправленный из правительственного учреждения, по теме «трафик». Или что угодно.

Проблема в том, что мы отправили буквально сотни тысяч пресс-релизов. Поиск медленный и сложный. Например, пресс-релиз, отправленный в Квинс, штат Нью-Йорк, должен появиться в поиске, о котором я упоминал выше, даже если он не был специально отправлен в Нью-Йорк, потому что Квинс - это часть Нью-Йорка. Мы также можем захотеть реализовать «и» и «или» и отрицание и текстовый поиск в запросе для создания сложных поисков. Эти поиски также должны быть достаточно быстрыми, чтобы функционировать как динамические RSS-каналы.

Я действительно ничего не знаю о теории поиска или о том, как это правильно сделано. Прямо сейчас мы получаем способ использования витрины данных для хранения мест, куда были отправлены выпуски, в одной таблице. Однако из-за упомянутого выше подмножества витрина данных гигантская с миллионами строк. И мы еще даже не внедрили города, и в Соединенных Штатах насчитывается около 50 000 городов, которые экспоненциально увеличат размер витрины данных на столько, что, боюсь, она просто больше не будет работать.

Во всяком случае, я понимаю, что это не простой вопрос, и не будет ответа "сделай это". Тем не менее, я надеюсь, что один из вас может указать мне правильное направление, где я могу узнать о том, как проводятся масштабные поиски? Потому что я действительно ничего не знаю об этом. И такую ​​поисковую систему оказывается невероятно сложно создать. Спасибо! Я знаю, что должен быть способ, потому что если Google может искать по всему интернету, мы должны иметь возможность искать в нашей собственной базе данных: -)

1 Ответ

0 голосов
/ 30 марта 2010

Google может искать во всем Интернете, и ваши данные с помощью Google Appliance !

...