Отправка Spark-2.3 не работает для одного главного и одного ведомого устройства в Windows 10 -64bit - PullRequest
Новая
       22

Отправка Spark-2.3 не работает для одного главного и одного ведомого устройства в Windows 10 -64bit

0 голосов
/ 25 апреля 2018

Следующие шаги для Hadoop hdfs и spark: -

1) Переменные среды -

  • HADOOP_CONF_DIR - F: \ spark\ Hadoop2 \ hadoop-2.7.6 \ etc \ hadoop
  • HADOOP_HOME - F: \ spark \ Hadoop2 \ hadoop-2.7.6
  • JAVA_HOME - F: \ Java \ jdk1.8.0_121
  • SPARK_HOME - F: \ spark \ spark-2.3.0-bin-hadoop2.7

Путь:

  • F: \ spark \ Hadoop2 \ hadoop-2.7.6 \ bin
  • F: \ spark \ spark-2.3.0-bin-hadoop2.7 \ bin
  • F: \ spark \ Hadoop2 \ hadoop-2.7.6 \ lib \ native

2) core-site.xml

enter image description here

3) hdfs-site.xml

enter image description here

4) mapred-site.xml

enter image description here

Команда для запуска мастера -

  • spark-class org.apache.spark.deploy.master.Master

Команда для запуска одного рабочего -

  • spark-класс org.apache.spark.deploy.worker.Worker spark: //192.168.0.12: 7077

Чтобы отправить работу

  • spark-отправить --class org.apache.spark.examples.SparkPi - master spark: //192.168.0.12: 7077 F: /spark/spark-2.3.0-bin-hadoop2.7/examples/jars/spark-examples_2.11-2.3.0.jar

Журнал ошибок -

Исключение в потоке "main" java.io.IOException: Нет файловой системы для схемы: F в org.apache.hadoop.fs.FileSystem.getFileSystemClass (FileSystem.java:2660) в org.apache.hadoop.fs.FileSystem.createFileSystem (FileSystem.java:2667) в org.apache.hadoop.fs.FileSystem.access $ 200 (FileSystem.java:94) в org.apache.hadoop.fs.FileSystem $ Cache.getInternal (FileSystem.java:2703) в org.apache.hadoop.fs.FileSystem $ Cache.get (FileSystem.java:2685) в org.apache.hadoop.fs.FileSystem.get (FileSystem.java:373) в org.apache.spark.util.Utils $ .getHadoopFileSystem (Utils.scala: 1893) в org.apache.spark.util.Использует $ .doFetchFile (Utils.scala: 690) в org.apache.spark.deploy.DependencyUtils $ .downloadFile (DependencyUtils.scala: 131) в org.apache.spark.deploy.SparkSubmit $$ anonfun $ prepareSubmitEnvironment $ 7.apply (SparkSubmit.scala: 401) в org.apache.spark.park..SparkSubmit $$ anonfun $ prepareSubmitEnvironment $ 7.apply (SparkSubmit.scala: 401) в scala.Option.map (Option.scala: 146) в org.apache.spark.deploy.SparkSubmit $ .prepareSubmitEnvironment (SparkSubmit.scala 400)в org.apache.spark.deploy.SparkSubmit $ .submit (SparkSubmit.scala: 170) в org.apache.spark.deploy.SparkSubmit $ .main (SparkSubmit.scala: 136) в org.apache.spark.deploy.SparkSubmit.main (SparkSubmit.scala)

Я не могу решить эту проблему даже после того, как попробую несколько блогов.

...