Не могу включить org.apache.spark в intellij - PullRequest
Новая
       17

Не могу включить org.apache.spark в intellij

0 голосов
/ 28 мая 2018

При открытии и проекте IntelliJ Idea как Maven.

Когда я import scala.io.Source, проблем нет.
Однако, когда я пытаюсь import org.apache.spark, это не работает.

Как мне это исправить?Если вам нужна дополнительная информация, пожалуйста, сообщите. 

import scala.io.Source
import org.apache.spark

object main extends App {
  val lines = Source.fromFile("C://share_VB/file.csv").getLines.toArray
  for (line <- lines){
    if (!line.isEmpty){
      val testcase = line.split(",").toBuffer
      println(testcase.head)
      println(testcase(1))
      testcase.remove(0, 2)
      while (testcase.nonEmpty){
        println(testcase.head)
        println(testcase(1))
        testcase.remove(0, 2)
      }
    }
  }
}

файл pom.xml 

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
     xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
     xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
<modelVersion>4.0.0</modelVersion>

<groupId>seeifthisworks</groupId>
<artifactId>seeifthisworks</artifactId>
<version>1.0-SNAPSHOT</version>

<properties>
    <java.version>1.8</java.version>
    <scala.version>2.11.8</scala.version>
    <scala.compat.version>2.11</scala.compat.version>
    <spark.version>2.2.0.cloudera1</spark.version>
    <config.version>1.3.2</config.version>
    <scalatest.version>3.0.1</scalatest.version>
    <spark-testing-base.version>2.2.0_0.8.0</spark-testing-base.version>
</properties>

<!-- https://mvnrepository.com/artifact/org.apache.spark/spark-core -->
<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-core_2.11</artifactId>
    <version>2.3.0-palantir3</version>
</dependency>


</project>

1 Ответ

0 голосов
/ 29 мая 2018

Замените 2.3.0-palantir3 на ${spark.version} после того, как вы исправите версию Spark для удаления cloudera1

В любом случае у вас нет искрового кода, поэтому неясно, что вы пытаетесь сделатьс этим

...