У меня есть список всех активных заданий, в заявке на работу с искрой.
sc.statusTracker.getActiveJobIds().foreach(jobId => {
val job: SparkJobInfo = sc.statusTracker.getJobInfo(jobId).get
...
})
У меня есть фрагмент кода, выполняющий некоторые базовые преобразования и действия.
Например:
val oldDf = dfInput.filter(age > 18)
val youngDf = dfInput.filter(age < 10)
oldDf.count()
youngDf.count()
Как связать между jobId и соответствующим преобразованием? Как я могу получить доступ к имени запущенного задания?
Моя конечная цель - получить статистику о том, сколько заданий из задания № 1 было выполнено, и я хочу связать задание № 1 с преобразованием фильтра age> 18 .
Заранее спасибо.