Как определить, является ли запущенная JVM драйвером или исполнителем в Apache Spark

Question

Я пытаюсь расширить регистрацию Spark до Elasticsearch. И я ищу способ установить, записано ли это сообщение драйвером или исполнителями при построении оператора журнала.

Есть предложения, пожалуйста?

Answer 1

Я приведу пример использования следующего кода для разграничения между драйвером и исполнителем,

object test{
    def main(args:Array[String]){
        log.info("This is driver")
        val sparkSession = ???

        spark.read
        ...
        .map(x=>{
            ...
            log.info("This is executor")
            ...
            })

        log.info("This is driver")
    }
}

Как вы можете видеть, что что-нибудь между map / foreach и другими преобразованиями/ действия выполняются для исполнителей, все остальное выполняется для драйвера.

Надеюсь, это прояснится.