удаление старых индексов в amazonasticsearch

Question

Мы используем AWS Elasticsearch для журналов.Логи непрерывно передаются через Logstash.Каков наилучший способ периодического удаления старых индексов?

Я искал и рекомендовал различные подходы:

1. Использование лямбды для удаления старых индексов - https://medium.com/@egonbraun/periodically-cleaning-elasticsearch-indexes-using-aws-lambda-f8df0ebf4d9f

2. Использовать запланированные Docker-контейнеры - http://www.tothenew.com/blog/running-curator-in-docker-container-to-remove-old-elasticsearch-indexes/

Эти подходы кажутся излишними для такого базового требования, как «удалить индексы старше 15 дней»

Каков наилучший способ достичь этого?Предоставляет ли AWS какие-либо настройки, которые я могу настроить?

Answer 1

Elasticsearch 6.6 представляет новую технологию под названием Index Lifecycle Manager См. Здесь . Каждому индексу назначается политика жизненного цикла, которая определяет, как индекс проходит через определенные этапы, пока они не будут удалены.

Например, если вы индексируете данные метрик из парка банкоматов в Elasticsearch, вы можете определить политику, которая гласит:

1. Когда индекс достигнет 50 ГБ, перейдите на новый индекс.
2. Переместите старый указатель в теплую сцену, отметьте его как доступный только для чтения и сократите до одного осколка.
3. Через 7 дней переместите указатель в холодную стадию и перенесите его на более дешевое оборудование.
4. Удалить индекс после достижения требуемого 30-дневного срока хранения.

Технология еще находится в стадии бета-тестирования, однако, вероятно, с этого момента и дальше.

Answer 2

Запуск куратора довольно легкий и легкий.

Здесь вы можете найти Dockerfile, config и action-файл.

https://github.com/zakkg3/curator

Кроме того, куратор может помочь вам, если вам нужно (среди прочего):

• Добавить или удалить индексы (или оба!) Из псевдонима
• Изменить распределение маршрутизации шарда
• Удалить снимки
• Открытые закрытые индексы
• индексы ForceMerge
• индексы переиндексации, в том числе из удаленных кластеров
• Изменить количество реплик на шард для индексов
• индексы ролловера
• Сделать снимок (резервную копию) индексов
• Восстановление снимков

https://www.elastic.co/guide/en/elasticsearch/client/curator/current/index.html

Вот типичный файл действий для удаления индексов старше 15 дней:

     actions:
      1:
        action: delete_indices
        description: >-
          Delete indices older than 15 days (based on index name), for logstash-
          prefixed indices. Ignore the error if the filter does not result in an
          actionable list of indices (ignore_empty_list) and exit cleanly.
        options:
          ignore_empty_list: True
          disable_action: True
        filters:
        - filtertype: pattern
          kind: prefix
          value: logstash-
        - filtertype: age
          source: name
          direction: older
          timestring: '%Y.%m.%d'
          unit: days
          unit_count: 15