PrestoDB: рабочие узлы отключаются непрерывно (нет доступных рабочих узлов) - PullRequest
Новая
       4

PrestoDB: рабочие узлы отключаются непрерывно (нет доступных рабочих узлов)

0 голосов
/ 22 сентября 2018

Я пытаюсь настроить тестовый кластер PrestoDB на 3 узлах (1 координатор + 2 рабочих узла) на машинах Ubuntu 18.04 с 4 ГБ ОЗУ и 80 ГБ HDD.

Свойства координатор следующим образом:

  • node.properties: 

    node.environment=test
node.id=2259f48c-bd6a-11e8-bbdd-1a4f1f5bd394
node.data-dir=/opt/prestodata

  • jvm.properties: 

    -server
-Xmx16G
-XX:+UseG1GC
-XX:+CMSClassUnloadingEnabled
-XX:+AggressiveOpts
-XX:+ExplicitGCInvokesConcurrent
-XX:+HeapDumpOnOutOfMemoryError
-XX:ReservedCodeCacheSize=150M

  • config.properties: 

    coordinator=true
node-scheduler.include-coordinator=false
http-server.http.port=8080
query.max-memory=10GB
query.max-memory-per-node=2GB
discovery-server.enabled=true
discovery.uri=http://localhost:8080

Свойства worker-1 следующие:

  • node.properties: 

    node.environment=test
node.id=ca628078-bd69-11e8-807a-5e29ddb1dccc
node.data-dir=/opt/prestodata

  • jvm.config: 

    -server
-Xmx2G
-XX:+UseG1GC
-XX:+CMSClassUnloadingEnabled
-XX:+AggressiveOpts
-XX:+ExplicitGCInvokesConcurrent
-XX:+HeapDumpOnOutOfMemoryError
-XX:ReservedCodeCacheSize=150M

  • config.properties: 

    coordinator=false
http-server.http.port=8080
query.max-memory=10GB
query.max-memory-per-node=2GB
discovery.uri=http://<coordinator_ip>:8080

Свойства второго рабочего аналогичны (также с уникальным и действительным UUID).На обоих рабочих я (иногда) вижу эти журналы: 

Discovery server connect succeeded for refresh (collector/general)
Discovery server connect succeeded for refresh (presto/general)

На узле координатора я вижу, что рабочие узлы появляются в Active Workers примерно на 1-2 секунды и исчезаютснова, этот цикл повторяется 4-5 раз каждый раз, когда я перезагружаю рабочие узлы.

Порты правильно занесены в белый список, рабочие и координатор доступны через ping друг от друга.Это проблема со встроенным сервером обнаружения или слишком мало памяти (4 ГБ), что я делаю не так?

ОБНОВЛЕНИЕ Я также попробовал следующее:

  • Добавление отдельного сервера обнаружения вместо встроенного сервера
  • Последняя версия (0.211) вместо 0.198
  • Смена обязанностей координатора и рабочего
  • Полностью новые установки собе версии

Ничего из вышеперечисленного не сработало.

...