Когда Spark находит действие, выполняется ли каждая строка кода до действия или только преобразования, которые имеют отношение к действию?

Question

Пусть

x: RDD[Int] = {1,2,3,4}

y: RDD[Int] = {4,5,6,7}

строка 1:

x = x.map(x => x+1)

строка 2:

y = y.map(y => y+1)

строка 3:

x.collect().foreach(println)

будет искро вычислять все строки или только строки 1 и 3.

Answer 1

В этом случае он будет выполнять только строки 1 и 3. Причина, по которой он не выполняет строку 2, заключается в том, что вы не вызываете никаких действий для RDD y, вы только создаете DAG на y.