У меня в Кубернетесе 2 мастера искры и 3 рабочих искры. В настоящее время я отправляю искровые задания в режиме развертывания кластера с включенным контролируемым флагом. Теперь, чтобы проверить, возрождается ли драйвер на другом искателе или нет, я удаляю модуль искателя, содержащий драйвер. Это приводит к удалению стручка и возрождению водителя в другом стручке искровщика. Но это иногда не удается, а иногда и работает. Проверка указывается в коде, который я отправляю в Spark.
С точки зрения кода : я пытался использовать потоковый текст напрямую из sparkcontext. Это привело к лучшему возрождению водителя в другой капсуле. Я также попытался использовать sparksession для создания потокового контекста. Это иногда приводит к возрождению водителя, а иногда его просто убивают.
С точки зрения JVM : Я пытался завершить процесс, выполняющий отправку Spark. Это приводит к возрождению водителя в другом модуле искателя.
Spark submit:
/opt/spark/bin/spark-submit --deploy-mode cluster --total-executor-cores 3 --driver-memory 2G --supervise --driver-cores 1 --executor-cores 2 --executor-memory 8G --class com.CheckpointTest.app.SparkIngestion --master spark://sparkmaster-0.sparkmaster.default.svc.cluster.local:7077,sparkmaster-1.sparkmaster.default.svc.cluster.local:7077 http://http-server-clientsvc:5000/download/fs-ingestion-svc.jar;
Драйвер иногда не перезапускается.