Sphinx Search / MySQL находит наиболее распространенные слова

Question

У меня есть поисковый индекс сфинкса, и я хотел бы найти, какие слова наиболее часто встречаются в моем индексе.В идеале иметь список слов, упорядоченных по частоте.

Если это невозможно сделать с помощью Sphinx, есть ли способ запросить текстовые поля таблицы mysql, чтобы получить тот же показатель?

Answer 1

Да.Это довольно просто.Создайте их с помощью индексатора, используя флаги --buildstops и --buildfreqs.

indexer --config /path/to/sphinx.conf  indexName --buildfreqs --buildstops freq_wordlist.txt 100000

В этом примере вы получите первые 100000 слов в индексе сфинкса, упорядоченные по его частоте

Answer 2

Создайте их с помощью индексатора, используя флаги --buildstops и --buildfreqs.

Просто имейте в виду, что это не строит из существующего индекса, а работает с источником данных, какиндексация, и строит частоты слов.Он не влияет на сам индекс.

Если вы используете дельта-индексы, где вы сохраняете идентификатор последнего проиндексированного документа, это будет считывать последний сохраненный идентификатор и работать оттуда.