Проведя некоторые анализы и расчеты емкости с учетом требований к хранилищу для высокодоступного кластера AWS Managed Elasticsearch, я пришел к следующему:
- Три отдельных индекса (каждый представляет конкретные данные регистрации из разных частейПлатформа).
- Срок хранения 14 дней
- Для трех индексов в общей сложности 14 дней потребуется 12 ГБ, 12 ГБ и 25 ГБ.
- Поскольку каждый индекс меньше 30 ГБдля этого периода хранения, я предполагаю, что требуется один шард.
- Запросы и агрегация будут выполняться в течение полного 14-дневного периода.
- Кластер ES будет в основном записывать тяжелые, соперации чтения выполняются только обслуживающим персоналом, которому для диагностики требуются журналы.
В следующем руководстве от AWS внизу приведена таблица, в которой приведены ориентировочные размеры для кластера ES на основе различных факторов.https://aws.amazon.com/blogs/database/get-started-with-amazon-elasticsearch-service-t-shirt-size-your-domain/
Опция X-Small, которая предполагает ежедневную загрузку 10 ГБ, соответствует моим вычислениям с точки зрения хранения и рекомендует кластер с 3 главными узлами и 2 узлами данных.Узлы данных в соответствии с рекомендациями имеют 2 v-CPU и 8 ГБ ОЗУ.
- Подойдет ли эта конфигурация в соответствии с моими требованиями выше?Меня беспокоит количество процессоров в узлах данных и тот факт, что агрегация будет выполняться в течение полных 14 дней.
- Если я развертываю в AWS Canada, которая имеет 2 зоны доступности, 3-Masterустановка узла может привести к простоям, если AZ, на который повлияла потеря службы, имеет два узла в этом AZ.По сути, вероятность простоя составляет 50%.Есть ли какая-либо польза от запуска установки с тремя главными узлами в регионе AWS, который имеет только 2 AZ?
Я понимаю, что начальная конфигурация, которая будет предоставлена, должна постоянно контролироваться изатем, возможно, с поправкой на масштаб, но было бы здорово узнать, реалистичны ли мои оценки.
Спасибо, Джеймс.