Может ли Spark предохранить фильтр с последующей картой

Question

Я изучаю возможности объединения операций Spark и мне интересно, если Spark может объединить фильтр с последующей картой в одну операцию, например,

val names = sc.parallelize(List("Subhrajit Bhattacharya", "John Doe"))

val longNames = names.filter( x => x.length > 10)
val splitLongNames = longNames.map(x => x.split(" ").toList)

Если так, каким будет код для этой функции?Также есть ли способ узнать, какие операции Spark выполняет?

Спасибо.

Answer 1

Да, это возможно, и Spark будет "перегорать" в максимально возможной степени.

Это этапы, на которых нет требований к тасованию, т. Е. Нет необходимости перемещать данные, в отличие, скажем, от groupByKey, который делает это для достижения желаемого результата.

Новый сгенерированный СДР следуетродительский СДР в таких случаях.И, следовательно, слияние возможно и действительно всегда намерение.