Примеры рамок для тестирования искровых двигателей ДРУГИЕ ЧЕМ com.holdenkarau - PullRequest
Новая
       10

Примеры рамок для тестирования искровых двигателей ДРУГИЕ ЧЕМ com.holdenkarau

0 голосов
/ 14 сентября 2018

Я пытаюсь написать тестовый пример кода приложения spark scala. Поэтому я планирую использовать SharedSparkSession для этой цели.

Я видел другие фреймворки, такие как com.holdenkarau , но я ищу любую другую альтернативу, особенно с использованием SharedSparkSeesion.

Поэтому я попытался найти примеры примеров, используя этот SharedSparkSession, в Интернете, но я не могу этого сделать.

Если у вас есть пример, пожалуйста, напишите.

1 Ответ

0 голосов
/ 14 сентября 2018

В Scala можно использовать собственную тестовую среду Spark, там есть SparkSession.Некоторые зависимости должны быть включены, для Maven ниже, могут быть преобразованы в Sbt.Пример ScalaTest: https://apache.googlesource.com/spark/+/master/sql/core/src/test/scala/org/apache/spark/sql/ColumnExpressionSuite.scala 

    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-sql_${scala.suffix}</artifactId>
        <version>${spark.version}</version>
        <scope>test</scope>
        <type>test-jar</type>
    </dependency>
    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-core_${scala.suffix}</artifactId>
        <version>${spark.version}</version>
        <scope>test</scope>
        <type>test-jar</type>
    </dependency>
    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-catalyst_${scala.suffix}</artifactId>
        <version>${spark.version}</version>
        <scope>test</scope>
        <type>test-jar</type>
    </dependency>
...