У меня на одном сервере работает master и работник spark.
У меня есть задание cron для перезапуска spark, если сервер перезагружается., Запустив эти 2 сценария: start-master.shи start-slave.sh
После перезагрузки мастер и рабочий Spark запускаются правильно (и я могу убедиться в этом в пользовательском интерфейсе ambari), но моя работа с потоковым воспроизведением дублируется в веб-интерфейсе spark, и я не могувыяснить, почему?
Это происходит только при перезагрузке, когда запускаются 2 вышеуказанных сценария, когда я отправляю свое потоковое задание из командной строки, все в порядке, и оно появляется только один раз в веб-интерфейсе spark
но если после этого я перезагружаю сервер, то при запуске spark потоковое задание появляется дважды в пользовательском интерфейсе, и их идентификаторы тоже разные!- так что работает один драйвер, но 2 запущенных приложения с разными идентификаторами ... Если я уничтожу драйвер и 2 приложения и снова отправлю потоковое задание из командной строки - все в порядке, и оно появляется только один раз.(Но для моего приложения требуется, чтобы спарк мог автоматически восстанавливаться после перезагрузок, поэтому мне нужно исправить эту проблему.)
Это похоже на то, что одно из приложений отсоединяется от драйвера, как когда я убиваю драйвер,только одно из приложений также закрывается, и я должен непосредственно убить второе в пользовательском интерфейсе