Я настроил Spark для HA, используя
SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=zkServer1:2181,zkServer2:2181,zkServer3:2181"
Итак, в зоопарке создаются два узла: 1006 * master_status и leader_election . master_status
хранит информацию об активном мастере, а его дочерние элементы содержат информацию о работающих работниках и приложениях зажигания.
Теперь проблема, с которой я сталкиваюсь, - это IP 10.10.3.72
, который вы видите, а не IP-адрес текущего активного мастера. Хотя дети зносе содержат
правильная информация работающих работников и искровое применение. Более того, как вы можете видеть, mtime
не обновлялся после 4 апреля 2018 года, хотя активный мастер был смещен после 4 апреля 2018 года. Это ошибка в Spark?
Я использую spark-2.2.1
и zookeeer-3.3.6