Я использую AWS Elasticsearch и мне нужен совет о том, какие типы экземпляров выбрать для моего кластера и сколько шардов использовать.Мой пример использования следующий: моя система выдает максимум 150 000 000 записей в день (например, = 1736 записей в секунду, каждая запись составляет ~ 900 байт, = 1,5 МБ в секунду).Моя система будет публиковать записи в ES в пакетном режиме по 5 МБ (так как 5000/1500 = 3,3 с, затем каждые 3,3 с будет поступать пакетный запрос к ES с ~ 6000 записей в каждом).
ЧислоВремя, когда эти данные будут считываться из ES в Кибане, относительно невелико (например, может быть, 2-3 раза в день).Поэтому для меня наиболее важной частью является выбор экземпляров EC2 для моих узлов, которые имеют много памяти и могут выполнять много операций записи.
Мне нужно выяснить, сколько экземпляров мне нужно,и какой тип экземпляра будет соответствовать моим потребностям?Кроме того, мне нужно понять, сколько шардов мне нужно при создании индекса
Я запускаю нагрузочный тест для объема данных, которые я описал ниже, имея всего 3 m4.large.elasticsearch
Экземпляры,мой кластер стал красным очень быстро.Пожалуйста, помогите мне настроить мой кластер / индекс AWS ElasticSearch.Ценю любой совет