что делает Spark SQL, когда показано сообщение

Question

Я новичок в Spark SQL, и я пытаюсь выполнить запрос и замечаю, что Spark SQL очень долго готовится к выпуску.

scala> spark.time(query.collect)
[Stage 169:===========>   (44 + 4) / 58][Stage 170:>               (0 + 0) / 58]

Кто-нибудь знает выражение как 169, * 1005? * или (0 + 0) / 58) указать?

Answer 1

означает следующее:

[Stage stageNo: (numCompletedTasks + numActiveTasks) / totalNumOfTasksInThisStage]

Каждое задание Spark разделено на несколько этапов, а каждый этап снова разделен на несколько заданий.

В вашем случае. Это говорит,

Stage: 169 
Total Tasks: 58
Completed tasks: 44 
Active Tasks: 4 
Remaining Tasks: 10 (totalNumOfTasksInThisStage - (numCompletedTasks + numActiveTasks))