Запуск нескольких SparkContexts в одной JVM или создание нескольких JVM в целочисленной среде.

Question

Я хочу создать локальную искровую среду в Intellij для разработки / тестирования приложения Spark, которое поддерживает несколько локальных сеансов зажигания, по одному для каждого исполнителя.

Итак, мой разработчик.среда должна разрешать несколько sparkContexts на одной JVM или запускать несколько JVM, чтобы имитировать исполнителей и их локальные сеансы.

Не могли бы вы порекомендовать какой-либо возможный способ для этой цели?

Ниже приведены мой код и ошибки.

val conf = new SparkConf().setAppName("Testing")
     .setMaster("local-cluster[8, 2, 128]") // or .setMaster("local[*]")
     .set("spark.driver.allowMultipleContexts", "true")

val sc: SparkContext = new SparkContext(conf)



[Executor task launch worker for task 2] WARN  org.apache.spark.SparkContext:    
   Multiple running SparkContexts detected in the same JVM!
org.apache.spark.SparkException: Only one SparkContext may be running in this JVM (see SPARK-2243). 
   To ignore this error, set spark.driver.allowMultipleContexts = true. 
   The currently running SparkContext was created at:
org.apache.spark.SparkContext.<init>(SparkContext.scala:126)```