Поделиться SparkContext между несколькими файлами в одном проекте

Question

Я новичок в Spark и Scala и хотел знать, могу ли я использовать тот же sparkContext, который я создаю в своей основной функции для чтения текстовых файлов как RDD в файлах Scala, которые находятся в разных пакетах.

Пожалуйста, дайте мне знать, как лучше подойти к тому же.

Буду признателен за любую помощь, чтобы начать с этим. Спасибо!

Answer 1

Вы можете сделать это. Например, вы можете передать sparkContext, как и любую другую переменную.

package Y
import X
main() {
    val sc = SparkSession.builder().master("local[*]").getOrCreate().sparkContext
    X.read_files_method(sc)
}

// method in other package
package X
read_files_method(sc : SparkContext) {
    val rdd = sc.textFile(some_path)
    rdd.collect.foreach(println) // prints rdd data when run main method in package Y
}