Написание искрового юнит-теста без установки Spark

Question

Я пытаюсь написать модульный тест для искрового кода. Я знаю, что мы можем установить Spark, а затем использовать SparkConf и SparkContext для написания тестов.

Однако я хотел проверить, есть ли способ написать модульные тесты без установки Spark, так как мой клиент не хочет устанавливать Spark на сервере Jenkins, на котором мы собираемся запустить наши тесты в рамках автоматизированного процесса.

Answer 1

Вы можете настроить Spark для запуска в локальном кластере с помощью кода:

val conf = new SparkConf().setAppName(appName).setMaster("local")
val context = new SparkContext(conf)

Затем вы можете использовать context для создания RDDs ваших данных для тестирования:

context.makeRDD

• https://spark.apache.org/docs/latest/rdd-programming-guide.html#initializing -spark
• Что означает setMaster `local [*]` в значении spark?
• https://spark.apache.org/docs/latest/api/java/org/apache/spark/SparkContext.html#makeRDD - scala .collection.Seq-int- scala .reflect.ClassTag-