Как обрабатывать данные Elasticsearch, когда они заполняют выделенный том

Question

Я создаю стек EFK в кластере k8s. Я использую схему руля EFK, описанную здесь . Это создает два PVC: один для es-master и один для es-data.

Допустим, я выделил 50 Ги для каждого из этих ПВХ. Когда они в конце концов заполняются, я желаю, чтобы новые данные начинали перезаписывать старые. Затем я хочу сохранить старые данные, например, в корзину s3. Как я могу настроить Elasticsearch для этого?

Answer 1

Один простой инструмент, который может помочь вам в этом, - Elasticsearch Curator: https://www.elastic.co/guide/en/elasticsearch/client/curator/5.5/actions.html

Вы можете использовать его для:

1. Перенос индексов, содержащих данные, по размеру / времени. Это приведет к тому, что каждый PVC будет содержать несколько индексов, основанных на времени.
2. снимок прокручиваемых индексов для резервного копирования в S3
3. удалить старые индексы на основе их даты - удалить самые старые индексы, чтобы освободить место для новых индексов.

Куратор может помочь вам сделать все это.