Почему Apache Spark Master завершает работу, когда Zookeeper завершает сеанс

Question

Как я понимаю, Apache Spark Master можно запустить в режиме высокой доступности с помощью Zookeeper. То есть несколько мастеров Spark могут работать в режиме Лидер / Подписчик, и эти режимы зарегистрированы в ZooKeeper.

В нашем сценарии ZooKeeper истекает сессия Spark Master, которая действует как Лидер. Поэтому Повелитель Искр, являющийся лидером, получает это уведомление и намеренно отключается.

Может кто-нибудь объяснить, почему было принято это решение о закрытии, а не повторной попытке?

И почему Кафка повторяет подключение к Zookeeper, когда получает такое же уведомление об истечении срока действия?

Answer 1

Похоже, вы столкнулись с проблемой SPARK-15544 - Отскок узла Zookeeper приводит к тому, что активный мастер зажигания выходит из .

Завершение работы одного узла зоопарка привело к выходу мастера зажигания. Мастер должен был подключиться ко второму узлу зоопарка.

По состоянию на март 2019 года они ищут исправления. Вы можете следить за JIRA, если хотите увидеть, когда она будет решена.