Не в состоянии зажечь банку на Windows - PullRequest
Новая
       53

Не в состоянии зажечь банку на Windows

0 голосов
/ 21 января 2020

Я действительно новичок ie в области больших данных и только начал изучать Apache Spark, моя проблема в том, что я не могу обработать приложение Java в автономном искровом кластере. Мой проект скомпилирован в банку с зависимостью от ядра искры. Мастер и работник успешно созданы, но spark-submit ничего не делает.

Вот основной класс проекта: 

public class App 
{
    public static void main( String[] args )
    {
        SparkConf sparkConf = new SparkConf()
                  .setAppName("Spark App");
          JavaSparkContext sparkContext = new JavaSparkContext(sparkConf);
          JavaRDD<String> stringJavaRDD = sparkContext.textFile("C:\\tmp\\nationalparks.csv");
          System.out.println("Number of lines in file = " + stringJavaRDD.count());

    }
}

Вот мастер создания:

spark-class org.apache.spark.deploy.master.Master

Рабочее творение:

spark-class org.apache.spark.deploy.worker.Worker spark://ip:port

И банка отправляю:

spark-submit --master spark://ip:port --class App C:\...\spark-teste-3.0-SNAPSHOT.jar

Все Я получил после этого это: 

20/01/20 23:17:26 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
log4j:WARN No appenders could be found for logger (org.apache.spark.deploy.SparkSubmit$$anon$2).
log4j:WARN Please initialize the log4j system properly.
log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.

И монитор искры (http://localhost: 8080 / ) отображает рабочий, но без приложений. Я делаю что-то неправильно?

...