Установите Spark в Eclipse IDE с помощью Maven

Question

Я пытаюсь использовать Spark для своего проекта.

import static spark.Spark.*;
//cannot be resolved

Я использую Maven для создания своего проекта.Это мой pom.xml контент.

<!-- Spark dependency -->
<dependency> 
     <groupId>org.apache.spark</groupId>
     <artifactId>spark-core_2.11</artifactId>
     <version>2.1.1</version>
     <scope>provided</scope>
</dependency>

<dependency>
    <groupId>com.sparkjava</groupId>
    <artifactId>spark-core</artifactId>
    <version>2.5</version>
</dependency>
<!-- End Spark dependency -->

Answer 1

Похоже, в вашем файле pom.xml добавлены неправильные зависимости.Добавьте следующее как зависимости

<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-core_2.11</artifactId>
    <version>2.3.0</version>
</dependency>

<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-sql_2.11</artifactId>
    <version>2.3.0</version>
</dependency>

Тогда вы можете начать работать:

import org.apache.spark.SparkConf;
import org.apache.spark.sql.Dataset;
import org.apache.spark.sql.SparkSession;

public class Main {
    public static void main(String[] args) {

        SparkConf sparkConf = new SparkConf().setAppName("Test");
        sparkConf.setMaster("local[*]");

        SparkSession sparkSession = SparkSession.builder().config(sparkConf).getOrCreate();

        Dataset dataset =  sparkSession.read().json("some_json_input_file_path");

        dataset.printSchema();
    }
}