Какой этап в Apache Spark?

Question

поэтому я понимаю, что этап - это набор задач, которые работают в одном узле.

так почему я получаю два этапа, когда я работаю в местном масштабе?

Answer 1

Этап - это набор параллельных задач - одна задача на раздел. Количество этапов определяется количеством преобразований в случайном порядке / широких.

Итак, возвращаясь к вашему случаю, если у вас есть случайная операция, то это приведет к двум этапам.