sbt - объект apache не является членом пакета org - PullRequest
Новая
       27

sbt - объект apache не является членом пакета org

0 голосов
/ 11 мая 2018

Я хочу развернуть и отправить программу spark, используя sbt, но с ее ошибкой.

Код: 

package in.goai.spark

import org.apache.spark.{SparkContext, SparkConf}

object SparkMeApp {
  def main(args: Array[String]) {
    val conf = new SparkConf().setAppName("First Spark")
    val sc = new SparkContext(conf)
    val fileName = args(0)
    val lines = sc.textFile(fileName).cache
    val c = lines.count
    println(s"There are $c lines in $fileName")
  }
}

build.sbt 

    name := "First Spark"

    version := "1.0"

    organization := "in.goai"

    scalaVersion := "2.11.8"

    libraryDependencies += "org.apache.spark" %% "spark-core" % "1.6.1"

    resolvers += Resolver.mavenLocal

В первом / каталоге проекта

build.properties 

bt.version=0.13.9

Когда я пытаюсь запустить sbt package его бросокошибка приведена ниже. 

[root@hadoop first]# sbt package
[info] Loading project definition from /home/training/workspace_spark/first/project
[info] Set current project to First Spark (in build file:/home/training/workspace_spark/first/)
[info] Compiling 1 Scala source to /home/training/workspace_spark/first/target/scala-2.11/classes...
[error] /home/training/workspace_spark/first/src/main/scala/LineCount.scala:3: object apache is not a member of package org
[error] import org.apache.spark.{SparkContext, SparkConf}
[error]            ^
[error] /home/training/workspace_spark/first/src/main/scala/LineCount.scala:9: not found: type SparkConf
[error]      val conf = new SparkConf().setAppName("First Spark")
[error]                     ^
[error] /home/training/workspace_spark/first/src/main/scala/LineCount.scala:11: not found: type SparkContext
[error]      val sc = new SparkContext(conf)
[error]                   ^
[error] three errors found
[error] (compile:compile) Compilation failed
[error] Total time: 4 s, completed May 10, 2018 4:05:10 PM

Я пробовал с extends до App, но без изменений.

1 Ответ

0 голосов
/ 11 мая 2018

Пожалуйста, удалите resolvers += Resolver.mavenLocal из build.sbt. Поскольку spark-core доступен на Maven, нам не нужно использовать локальные средства распознавания.

После этого вы можете попробовать sbt clean package.

...