Как выйти из искровой программы

Question

как мне выйти (с помощью принудительного сообщения об ошибке) из программы Spark, если, например, условие моего соединения не выполнено?

Пример-

Данные сотрудника - emp_id, dep_no

1,1001 2,2001

Данные отдела - dep_no, dept_name, location

1001, xyz, NY 3001, pqr, PA

Теперь, если я хочу обогатитьДанные сотрудника, мне нужно объединить данные отдела.Все, что я хочу, это когда я не нахожу отдел в данных отдела (мое соединение не удастся), я хочу остановить процесс (ошибка) с помощью специального сообщения об ошибке в Spark (Scala).

СпасибоСид

Answer 1

В зависимости от вашего варианта использования вы можете использовать один из следующих методов SparkContext:

def cancelJob(jobId: Int, reason: String): Unit 
def cancelJobGroup(groupId: String)
def cancelAllJobs()

Несколько полезных вызовов:

def applicationId: String // to get current jobId
def setJobGroup(groupId: String, description: String, interruptOnCancel: Boolean = false) // to set groupId for all Spark jobs to be created by the current thread