Сохранение выхода искры в CSV в спарк 1.6 - PullRequest
Новая
       41

Сохранение выхода искры в CSV в спарк 1.6

0 голосов
/ 20 сентября 2019

Spark 1.6 scala

Как сохранить вывод в csv-файл spark 1.6.

Я сделал что-то подобное. 

myCleanData.write.mode(SaveMode.Append).csv(path="file:///filepath")

но выдает ошибку, как 

cannot resolve symbol csv

Я пытался так даже.

для зависимости 

       <!-- https://mvnrepository.com/artifact/com.databricks/spark-csv -->
        <dependency>
            <groupId>com.databricks</groupId>
            <artifactId>spark-csv_2.10</artifactId>
            <version>1.5.0</version>
        </dependency>

val outputfile = "file:///D:/path/output"

    val myCleanData= sqlContext.sql("""SELECT
                                               col1,
                                               col1,
                                               col1
                                               FROM dataframe
                                               WHERE col1 LIKE "^[a-zA-Z0-9]*$"
                                                  """ )



    myCleanData.write
      .format("com.databricks.spark.csv")
      .option("header", "true")
      .mode("overwrite")
      .save(outputfile)

Но это дает ошибку как java.lang.NoClassDefFoundError: scala/collection/GenTraversableOnce$class

Пожалуйста, помогите, если это возможно с искрой 1.6.

...