Где можно посмотреть показатели задачи в Spark

Question

У меня есть простой искровой код, я хочу увидеть метрики о том, сколько записей читается в Spark Web UI, но я не нашел метрики, отображаемые в spark ui или http://localhost:4040/metrics/json,

Я бы спросил, где я могу найти метрики ， спасибо, я использую Spark 2.3.0

test("task metrics") {
    val spark = SparkSession
      .builder
      .appName("task metrics")
      .master("local[*]")
      .getOrCreate()

    spark.sparkContext.parallelize(1 to 100, 100).mapPartitions(iter => {
      //The metrics I want to see
      val metrics = TaskContext.get().taskMetrics().inputMetrics
      while (iter.hasNext) {
        metrics.incRecordsRead(1)
        iter.next()
      }
      Iterator.empty
    }).count()

    println("job is done")

    Thread.sleep(10*60*1000)

  }

Answer 1

Попробуйте http://localhost:4040/jobs. Нажмите на работу, вы увидите столбец ввода. Показывает размер входных данных в байтах. Если вы щелкнете дальше на соответствующем этапе, где читается ввод, столбец с именем «Размер ввода / записи» покажет размер входных данных, а также количество прочитанных записей.