Как извлечь значение аккумулятора в драйвере?

Question

Как мой код упорядочен следующим образом:

//Accumulator initialized 
val count = new LongAccumulator
sparksession.sparkContext.register(count,"count accumulator")

// Streaming Transformation
val DF = fromKafkaDF.map{
  count.add(1)
  println(count.value)  // This value is one
  //some transformation
}.writeStream.outputMode("update").format("console").start()

//trying to access the value of accumulator from driver
println(count.value)  //this value is zero

Почему в драйвере значение аккумулятора равно нулю?У меня есть другая логика для работы на основе этого аккумулятора.Пожалуйста, предложите.

Answer 1

Чтобы накопить любое значение в счетчике, вы должны выполнить действие и проверить, что аккумулятор не будет использоваться без каких-либо действий, пожалуйста, проверьте ссылку объяснение аккумулятора