Как Amazon Faceted Search так быстро?

Question

Поиск по термину на amazon.com, например, «переполнение стека», и результаты поиска возвращаются очень быстро.

В левой части окна находится многогранный поиск, который показывает по определенным категориям количество товаров, соответствующих этому термину.

Затем вы можете углубиться в эти термины. Например, есть 1094 книги, которые соответствуют термину, который подразделяется на Компьютеры и Интернет (1003), Наука и т. Д.

Учитывая, что поиск книг охватывает содержание некоторых из этих книг, мне кажется, что это очень впечатляющий подвиг.

Как амазонка это делает? Массовое распараллеливание? например, каждый узел знает о нескольких продуктах?

Между прочим, я видел, что «переполнение стека» появляется в тексте «Души новой машины», книги, которую я помню с 1981 года

Answer 1

Краткий ответ: много индексации. Более длинный ответ: много индексации, много избыточности, много кеширования и умное разбиение.

Реальный ответ - прочитайте эту книгу: http://www -csli.stanford.edu / ~ Hinrich / информационно-поисковая-book.html

(это бесплатно и очень хорошо).

Answer 2

Ну, есть распараллеливание, но одна из вещей, которую все делают в бэкэнде этих типов вещей, - это запуск медленных процессов (таких как семантический анализ содержимого книги) и быстрый поиск над ними. Они буквально кэшируют результаты поиска в некоторых больших базах данных, так что все, что им нужно сделать, - это поиск по базе данных в результатах поиска. Возможно, я неправильно понял вопрос, но это похоже на то, что делает Google. Вы не думаете, что их пауки просматривают в Интернете ваши сайты, когда вы вводите поисковый запрос, верно?