Как настроить эластичный кластер для огромного количества данных? - PullRequest
0 голосов
/ 04 сентября 2018

Меня попросили настроить эластичный поисковый кластер для примерно 100 ТБ текстовых данных! Я уже знаю, как выполнять поиск и сопоставление данных, но я действительно не знаю, как настроить кластер с более чем одним узлом для таких больших данных! Я имею в виду, сколько мастеров, хранителей Зои, компакт-дисков, ...? или мне нужен один выделенный сервер для activeMQ? ...

Есть ли документ, объясняющий это?

1 Ответ

0 голосов
/ 04 сентября 2018

ES - распределенная система, и создание кластера с 1 или 1000 узлами не имеет большого значения.

Что вы можете сделать в вашем случае, так это иметь некоторый главный узел и больше узлов данных для создания большого кластера.

Главный узел отвечает за легкие общекластерные действия. такие как создание или удаление индекса, отслеживание, какие узлы являются частью кластера, и решить, какие сегменты выделить для каких узлов.

Узлы данных содержат фрагменты, которые содержат ваши документы индексируются. Узлы данных обрабатывают связанные с данными операции, такие как CRUD, поиск, и скопления. Это операции ввода-вывода, памяти и Ресурсоемкие. Важно отслеживать эти ресурсы и добавлять больше узлов данных, если они перегружены.

Вы можете выбрать мастер-узлы небольшого размера (если они не содержат данные), а узлы данных имеют большой размер.

Ниже приведена конфигурация для главного узла.

http.port: 9200
discovery.zen.ping.unicast.hosts: ["127.0.0.1"]
cluster.name: elasticsearch_hobbes ## note this cluster name must be same for all the es nodes in the same cluster
node.name: "elasticsearch_001_master"// give 002 for other master node
node.master: true
**node.data: false (This master node will not hold the data)**
path.data: /usr/local/var/elasticsearch/
path.logs: /usr/local/var/log/elasticsearch/
discovery.zen.ping.multicast.enabled: false

А ниже находится конфиг для узла данных.

cluster.name: elasticsearch_hobbes
node.name: "node2"
node.master: false
node.data : true
http.port: 9201
discovery.zen.ping.multicast.enabled: false
script.engine.groovy.inline.aggs: on
discovery.zen.ping.unicast.hosts: ["127.0.0.1"]

Затем вы можете перейти к KOPF plugin вашего главного узла, щелкнув http://localhost:9200/_plugin/kopf/#!/cluster и увидеть экран ниже, который показывает все три узла в кластере.

Примечание: - Пожалуйста, следуйте https://github.com/lmenezes/elasticsearch-kopf, чтобы установить плагин KOPF. И дайте мне знать, если у вас возникнут проблемы с настройкой кластера.

...