Как выделить CPU, RAM, Disk, Shards для узлов в ELK Stack? - PullRequest
Новая
       51

Как выделить CPU, RAM, Disk, Shards для узлов в ELK Stack?

1 голос
/ 25 апреля 2019

Я сделал ELK STACK с 3 узлами , в которых один узел является главным, а два - узлом данных.Предположим, у меня есть около 1 ГБ данных для работы с кластером.Мне нужно знать

  • сколько шардов должно содержать каждый узел

  • сколько Ram и ЦП должно быть выделено для каждого узла

  • как выделить максимальное хранилище для узла

Я строю ELK Stack на платформе Ubuntu.

свойства системы 1

  • 12 ГБ ОЗУ

  • 500 ГБ HDD

свойства системы 2

  • 8 ГБ ОЗУ

  • 500 ГБ HDD

свойства системы 3

  • 4 ГБ ОЗУ

  • 500 ГБ HDD

Я сделал количество осколков равным 9, посколькуЕсть 3 узла? (3 * 3 = 9). Использование Rest API. 

curl -X POST "http://localhost:9200/_template/default" -H 'Content-Type: application/json' -d'
{
  "index_patterns": ["*"],
  "order": -1,
  "settings": {
    "number_of_shards": "9",
    "number_of_replicas": "1"
  }
}
'

Я не знаю, правильно это или неправильно.

Мне нужно было сделать здоровымcluster.

Есть ли какой-либо метод или параметры для назначения сегментов, реплики, оперативной памяти, дискового пространства и т. д .?

Есть ли какой-либо метод длянайти идеальное количество сегментов в зависимости от размера файла?

Сколько процессорного ядра должно быть выделено для каждого узла?

До сих пор я ссылался на следующие ссылки для создания кластера ELK.

1 Ответ

2 голосов
/ 26 апреля 2019

Детали осколков

Как правило, мы рекомендуем, если вы не ожидаете значительного увеличения данных, тогда: 

One primary shard is fine if you have less than 100K documents

One primary shard per node is good if you have over 100K documents

One primary shard per CPU core is good if you have at least a couple million documents

Индекс может иметь много осколков, но любой данный осколок может принадлежать только одному индексу.

Ссылка: https://docs.bonsai.io/article/122-shard-primer

...