Как назвать DataFrame в Spark, чтобы облегчить чтение диаграммы DAG?

Question

В Spark диаграмма DAG может стать довольно сложной после нескольких соединений, например:

Есть ли способ сделать ее более сложной?Понятно, во-первых, назвав наборы данных Spark, а затем secondde, пометив каждый этап набором данных, который он вычисляет (или помогает вычислить), чтобы мы могли проследить этапы до кода?

Answer 1

Вы можете назвать rdd как

yourrdd.setName(“ABCD”)