Самый дешевый способ индексировать большой набор данных в linux (желательно с sphinx)

Question

У меня есть база данных с 150 миллионами продуктов, я хотел бы проиндексировать их с помощью sphinx, но иметь только ~ 2 ГБ ОЗУ, есть ли реальный способ индексировать все эти данные с использованием sphinx, но при этом оставаясь ниже 2 ГБ?

Мне нужно только индексировать название продукта, описание продукта и марку.Хотя у меня есть несколько атрибутов, но они не должны быть доступны для поиска.

Answer 1

Изменение ondisk_dict http://sphinxsearch.com/docs/current.html#conf-ondisk-dict

Таким образом загружается только небольшой объем данных. Сфинксу вообще не нужно много памяти.

Поскольку вы используете атрибуты, docinfo, может использоваться для управления ими http://sphinxsearch.com/docs/current.html#conf-docinfo

Также уменьшение max_matches с помощью функции setLimit также должно уменьшить использование памяти во время выполнения.

Answer 2

проверить это: http://sphinxsearch.com/docs/current.html#conf-rt-mem-limit