Искра блока данных: Scala Получить / установить значение c в исполнителе

Question

У меня есть работа с базой данных, написанная на Scala. Если возможно установить / получить значение c в пределах исполнителя.

Ниже приведен мой код. Мой драйвер назначит значение переменной "valueSetByDriver". Мой исполнитель смог получить значение из переменной «valueSetByDriver».

Если мой исполнитель назначит значение «valueSetByExecutor» при первом запуске, то при запуске следующей задачи исполнителя он не сможет получить значение «valueSetByExecutor», установленное предыдущим выполнением.

object mystatic extends Serializable{
    var valueSetByDriver = ""
    var valueSetByExecutor = ""
}

Answer 1

Если вы пытаетесь распространить какие-либо данные по вашему кластеру, то они всегда передаются через Driver -> all executors, а не наоборот. Любые изменения, выполненные исполнителем, не будут распространяться вне контекста jvm исполнителя.