Драйвер Spark ждет, пока все разделы завершат работу из rdd.foreachPartition, прежде чем продолжить?

Question

Например, если в драйвере Spark запущен следующий код:

rdd.foreachPartition(iterator => myFunc(iterator))

val x = 1

Будет ли драйвер ждать завершения работы каждого раздела myFunc(), прежде чем двигаться дальше и устанавливать переменную x? Или драйвер установит x, пока хотя бы один раздел все еще работает myFunc()?

Answer 1

Да, это так. Все методы RDD, за исключением AsyncRDDActions, блокируются и ждут завершения связанных задач.