Я использую класс org.apache.spark.launcher.SparkLauncher для запуска и мониторинга заданий Spark в моем кластере пряжи. К сожалению, он не обнаруживает задания, которые преждевременно завершают работу из-за необработанного исключения.
При просмотре заданий в веб-интерфейсе Yarn Resource Manager они имеют State из FINISHED и FinalStatus из FAILED. Когда я вызываю SparkAppHandle.getState() для этой работы, он возвращает FINISHED, а не FAILED.
Я использую Spark-Launcher 2.10 и Spark 1.6