Я видел это раньше, но не мог вспомнить, где.
Когда я запустил задание Spark, скажем, задание состоит в выполнении длинного SQL запроса, который объединяет таблицы, а также агрегат / фильтр / order order, на выходе терминала задания есть ссылка, которая после открытия показывает диаграмму с динамикой c и изменением в реальном времени номера записи таблицы для каждого шага операции.
Диаграмма начинается снизу с исходные таблицы и все этапы промежуточной агрегации (промежуточные таблицы показаны с номером записи) заканчиваются сверху блоком, показывающим окончательный номер в результате.
У меня сейчас нет среды поэтому не могу найти ссылку. Если вам это известно, было бы полезно, если бы вы могли вставить снимок экрана здесь. Или, если у вас есть среда для запуска аналогичного задания, вы сможете найти ссылку в выводе терминала. Или вы можете найти его в журнале работы.
Обратите внимание, что мониторинг производительности в реальном времени может быть недоступен, если работа короткая или вы открываете ссылку после ее завершения. для меня в прошлом моя работа была длительной, как пару часов, график помогает мне оценить, сколько еще времени может быть выполнено.
Большое спасибо.