Индексы Elasticsearch, занимающие слишком много места - PullRequest
Новая
       43

Индексы Elasticsearch, занимающие слишком много места

0 голосов
/ 27 января 2020

Я использую Elasticsearch 7.5.2 в Ubuntu. Недавно я начал использовать Elasticsearch для отображения релевантных результатов поиска при каждой загрузке страницы. Это увеличило объем, но я также узнал, что он создал большие индексные файлы. Обратите внимание, что я использую 'app-search' для запуска своих запросов.

Вот примеры файлов индекса, которые занимают слишком много места: 

.app-search-analytics-logs-loco_togo_production-7.1.0-2020.01.26 => 52 GB
.app-search-analytics-logs-loco_togo_production-7.1.0-2020.01.27 => 53 GB

Я попытался удалить их с помощью CURL, но они появляются снова и показывают меньше места (~ 5 ГБ каждый).

Я хочу знать, есть ли способ контролировать эти индексы. Я не уверен, с какой целью решают эти показатели и есть ли способ их предотвратить?

1 Ответ

2 голосов
/ 27 января 2020

Я попытался удалить их с помощью CURL, но они вновь появляются и показывают меньше места (~ 5 ГБ каждый).

Очевидно, что ваше действие удаления было выполнено. Кажется, что индексы все еще записываются. Если документы все еще попадают в эластичный поиск, индекс создается заново.

Так, например:

Индекс с 2020.01.27 имеет 53 ГБ до удаления. После того, как вы удалите его, данные исчезнут и сам индекс тоже. Но как только новые документы того же дня (2020.01.27) будут проиндексированы, индекс будет заново создан, содержащий документы после удаления, которые, вероятно, составляют 5 ГБ.

Если это не то, что вам нужно необходимо проверить, есть ли еще источники, отправляющие данные.

Надеюсь, это поможет.

РЕДАКТИРОВАТЬ:

В: Однако существует ли способ управления этими индексами? Я не хочу, чтобы они занимали слишком много места.

Да! Индекс управления жизненным циклом (ILM) - это то, что вы ищете. Он направлен на автоматизацию ведения / управления индексами. Так, например, вы можете определить ролловер каждые 30 ГБ для нового индекса, чтобы они оставались небольшими. Другой пример - удалить индекс через X дней. Взгляните на все фазы и действия .

...