У меня есть процесс Spark, который зависает - казалось бы, навсегда - на данном этапе:
[Stage 18:> (0 + 1) / 1]
Как я могу выяснить, что такое "Стадия 18"?Я пытался объяснить физический план, но не вижу связи с разными этапами.
Самым простым способом будет проверить пользовательский интерфейс приложения Spark по умолчанию на порту 4040.
Помимо прочего, вы сможете просматривать планы выполнения поэтапно.