Автоматизация моментальных снимков на кластере Elasticsearch, запущенном на EC2 - PullRequest
0 голосов
/ 30 сентября 2019

У меня есть кластер Elasticsearch, работающий на экземплярах EC2, и я хочу автоматизировать моментальные снимки для резервного копирования ежедневно.

Я прочитал руководство по созданию снимков и восстановлению, и у меня есть команда PUT, которая сделает снимок,Из моих исследований я видел несколько способов автоматизации резервного копирования. Одно из предложений, которое я нашел, - использовать управляемый AWS Elasticsearch. К сожалению, переключение на управляемый Elasticsearch не будет работать из-за других имеющихся у нас ограничений.

Первый попытка, которую я попробовал, состояла в том, чтобы настроить задачу cron на одном из узлов, который мог бы выполнить соответствующий вызов REST. Однако я понял, что если узел, на котором выполняется команда, отключится, резервные копии не запустятся.

Следующим подходом, который я хотел бы использовать, был AWS Datapipeline. Проблема в том, что, похоже, нет способа отправить вызовы REST из Datapipeline - я мог бы запустить команду оболочки EC2, но потом столкнулся бы с той же проблемой, что и раньше.

Другой подходЯ думал об использовании события CloudWatch для планирования лямбда-функции, которая будет выполнять вызов REST. Кажется, что это может работать лучше, но это также кажется слишком сложным для автоматизации резервного копирования.

Есть ли способ автоматизации резервного копирования из Elasticsearch? А если нет, то есть ли более простой способ сделать это с сервисами AWS?

1 Ответ

0 голосов
/ 02 октября 2019

Для кластера Elasticsearch, работающего в версиях до 7.3, использование события CloudWatch для планирования лямбда-функции, которая сделает вызов REST для создания моментального снимка, является гибким способом планирования резервных копий, поскольку позволяет избежать зависимости от одного узла, на котором выполняетсязадание cron при выполнении надежного резервного копирования Elasticsearch (подробности см. в комментариях к вопросу).

Новая функция в Elasticsearch 7.4 - управление жизненным циклом снимков, которое позволяет автоматически выполнять резервное копирование индексов Elasticsearch с использованием снимков каждый день. в определенное время.

https://www.elastic.co/guide/en/elasticsearch/reference/current/getting-started-snapshot-lifecycle-management.html

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...