Какая хеш-функция используется для индексации поисковой системы в Интернете

Question

Я предполагаю, что этот вопрос может быть слишком открытым, но мне любопытно узнать, как работает хеширование, когда поисковые машины индексируют веб-страницы. Каковы некоторые из общих хеш-кодов, используемых для этой цели?

Answer 1

Для поисковой системы Sphinx, которая является чрезвычайно популярным продуктом с открытым исходным кодом и сравнимой с Lucene, используется хэш-функция CRC. Он преобразует каждое слово, найденное в элементах, которые он индексирует, в 32-битное / 64-битное int с использованием CRC.