Не удается разрешить чтение символов в орг. apache .spark.read

Question

В чем проблема со следующим кодом в scala spark?

import org.apache.spark
// ...
val path in = "D:\\myfolder\\myfile.csv"
spark.read(pathIn).csv()

ошибка: невозможно разрешить символ "чтение"

pom. xml зависимости:

<properties>
    <maven.compiler.source>1.8</maven.compiler.source>
    <maven.compiler.target>1.8</maven.compiler.target>
    <encoding>UTF-8</encoding>
    <scala.version>2.12.1</scala.version>
    <scala.compat.version>2.12</scala.compat.version>
  </properties>

    <dependencies>
        <dependency>
            <groupId>org.scala-lang</groupId>
            <artifactId>scala-library</artifactId>
            <version>2.12.1</version>
        </dependency>
        <dependency>
            <groupId>org.scalatest</groupId>
            <artifactId>scalatest_2.12</artifactId>
            <version>3.0.8</version>
        </dependency>
        <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-core -->
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_2.12</artifactId>
            <version>2.4.4</version>
        </dependency>

    </dependencies>

Я добавил некоторые зависимости, потому что не могу импортировать SparkSession.

Answer 1

Пожалуйста, используйте следующее. Вам нужны spark-core и spark- sql в качестве зависимостей.

    import org.apache.spark.sql.SparkSession
    val spark : SparkSession = SparkSession.builder
      .appName("test")
      .master("local[2]")
      .getOrCreate()

    import spark.implicits._
    val pathIn = "D:\\myfolder\\myfile.csv"
    spark.read.csv(pathIn).show()