У меня есть долго работающее приложение структурированной потоковой передачи, которое устанавливает потоковый конвейер и завершает с awaitTermination () на записывающем потоке.Если приложение умирает, systemd перезапустит его.
Проблема заключается в том, что, по-видимому, если перезапустить кластер искр, я получаю много сообщений журнала, таких как:
"19/04 /30 08:47:29 WARN StandaloneSchedulerBackend: отключено от кластера Spark! Ожидание повторного подключения ... "
" 19/04/30 08:47:30 ОШИБКА TaskSchedulerImpl: Потерянный исполнитель 1 в ...: УдаленныйRPC-клиент отсоединен. Вероятно, из-за превышения порогов контейнерами или проблем с сетью. Проверьте журналы драйверов на наличие сообщений WARN "
Таким образом, похоже, что базовый код Java отключен от мастера, но awaitTermination никогда не возвращается.Кто-нибудь знает, почему это может иметь место и как это исправить?