Что означают эти показатели для структурированной потоковой передачи Spark?

Question

spark.streams.addListener(new StreamingQueryListener() {
    ......
    override def onQueryProgress(queryProgress: QueryProgressEvent): Unit = {
        println("Query made progress: " + queryProgress.progress)
    }
    ......
})

Когда StreamingQueryListener добавляется в сеанс Spark Structured Streaming и непрерывно выводит queryProgress, вы получите одну из метрик: durationMs :

Query made progress: {
  ......
  "durationMs" : {
    "addBatch" : 159136,
    "getBatch" : 0,
    "getEndOffset" : 0,
    "queryPlanning" : 38,
    "setOffsetRange" : 14,
    "triggerExecution" : 159518,
    "walCommit" : 182
  }
  ......
}​

Может кто-нибудь сказать мне Что эти субметрики в длительности означают в контексте искры? Например, что означает «addBatch 159136».

Answer 1

https://www.waitingforcode.com/apache-spark-structured-streaming/query-metrics-apache-spark-structured-streaming/read

Это отличный сайт, который рассматривает аспекты и многое другое, передавая кредит этому сайту.