IP-адрес активного мастера и mtime не обновляются в master_status znode, созданном с помощью spark - PullRequest
0 голосов
/ 22 мая 2019

Я настроил Spark для HA, используя

SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=zkServer1:2181,zkServer2:2181,zkServer3:2181"

Итак, в зоопарке создаются два узла: 1006 * master_status и leader_election . master_status хранит информацию об активном мастере, а его дочерние элементы содержат информацию о работающих работниках и приложениях зажигания.

enter image description here

Теперь проблема, с которой я сталкиваюсь, - это IP 10.10.3.72, который вы видите, а не IP-адрес текущего активного мастера. Хотя дети зносе содержат правильная информация работающих работников и искровое применение. Более того, как вы можете видеть, mtime не обновлялся после 4 апреля 2018 года, хотя активный мастер был смещен после 4 апреля 2018 года. Это ошибка в Spark?

Я использую spark-2.2.1 и zookeeer-3.3.6

...