СДР выдает с SparkSession - PullRequest
Новая
       8

СДР выдает с SparkSession

0 голосов
/ 09 февраля 2019

Я новичок в разжигании скалы и сейчас тренируюсь самостоятельно.Не могли бы вы помочь в решении проблемы

не удалось разрешить символ SparkSession в Scala

, когда я import org.apache.spark.sql.SparkSession в Scala на практике RDD и преобразований.

1 Ответ

0 голосов
/ 09 февраля 2019

Кажется, что вы пропустили зависимости, поэтому, если вы используете Maven, вы можете добавить ниже в ваш pom.xml 

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>com.project.lib</groupId>
    <artifactId>PROJECT</artifactId>
    <version>1.0-SNAPSHOT</version>

    <dependencies>

        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_2.11</artifactId>
            <version>2.1.1</version>
        </dependency>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-sql_2.11</artifactId>
            <version>2.1.1</version>
        </dependency>

        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-hive_2.11</artifactId>
            <version>2.1.1</version>
        </dependency>
    </dependencies>
</project>

Но если вы используете sbt, вы используете приведенный ниже пример в вашем sbt.build

name := "SparkTest"

version := "0.1"

scalaVersion := "2.11.8"

val sparkVersion = "2.3.0"

libraryDependencies ++= Seq(
  "org.apache.spark" %% "spark-core" % sparkVersion,
  "org.apache.spark" %% "spark-sql" % sparkVersion,
  "org.apache.spark" %% "spark-hive" % sparkVersion

)
...