Может ли count () вызываться дважды в Spark?

Question

Я использую структурированные потоковые записи загрузки из Redis, код ниже

val image = spark.readStream.format("redis").schema(...).load()
val q = image.writeStream.foreachBatch { 
  (batchDF: DataFrame, batchId: Long) => {
    logger.info(batchDF.count()) // INFO: 4 (or other number)
    logger.info(batchDF.count()) // INFO: 0
    logger.info(batchDF.count()) // INFO: 0
  }
}.start()
q.awaitTermination()

Как показано выше, первый logger.info, кажется, получает правильный счет batchDF, но из второго он0.

Что важнее, batchDF пошел после первого count()?

Answer 1

Итак, после того как count () вызывается один раз, RDD все еще там?

- Да, вы можете запустить несколько действий через СДР. Выходит до заживо.

Для проверки счетчик равен нулю или нет. Вы можете использовать функцию rdd.isEmpty, как показано ниже:

if(rdd.isEmpty)
{// means count is zero
} else {//means not zero}