Какие факторы следует учитывать при планировании мощности для ELK?

Question

Я очень новичок в стеке ELK и пытаюсь узнать об этом.Я хочу понять, как спланировать емкость для хранения данных объемом 100 ГБ в день в течение 30 дней, как спланировать ее.Данные в основном журналы доступа, журналы приложений, события.Мне нужно будет запустить несколько регулярных выражений, чтобы заполнить поля данных (если нет поддержки по умолчанию для этого).Я планирую сохранить 3 его копии.

Может кто-нибудь подсказать мне, сколько серверов и в какой конфигурации потребуется для этого?

Заранее большое спасибо.

Answer 1

Мы используем «горячую» архитектуру ( документы ) кластеризованных экземпляров эластичного поиска (вы можете запустить несколько экземпляров на одном сервере!).Каждый с памятью 31 г.

Наши «горячие» экземпляры настроены на время хранения 3 дня и ssd-рейд.После этих трех дней данные перемещаются в «теплый» HD-рейд со временем хранения (30 - 90 дней).Это хорошо, потому что последние данные для поиска в kibana довольно быстро обрабатываются из-за ssds.

Иногда мы запускали 1 Elastic Master (4 г памяти) и 2 Elastic Clients (31 г памяти) на одном сервере.

По моему мнению, такая машина должна иметь как минимум около 128 г памяти, 1 ТБ ssd-емкости, 4-6 ТБ hd-емкости.