Укажите инициализацию для каждого исполнителя Spark перед вычислением в RDD - PullRequest
0 голосов
/ 30 января 2020

Я хочу убедиться, что этот класс / stati c -блок должен быть инициализирован в каждой JVM как можно раньше, потому что предполагается (для правильной работы),

// java
class SecurityInitializer {
    static {
        Security.addProvider(myprovider);
    }
}

// Equivalent in Scala, use companion object to get something similar to static block in Java
object SecurityInitializer {
    Security.addProvider(myprovider)
}

I знаете, это легко сделать в драйвере, но как заставить этот код запускаться в executor в идеале перед созданием sparkcontext?

Ищете ответы в Scala, но любые предложения приветствуется.

1 Ответ

1 голос
/ 25 марта 2020

ОК, теперь это официальный вариант использования, начиная с 2.4, имя ExecutorPlugin https://issues.apache.org/jira/browse/SPARK-24918

...