Spark-submit с uber-jar не удалось выполнить задание без каких-либо выходных данных или журналов ошибок - PullRequest
Новая
       10

Spark-submit с uber-jar не удалось выполнить задание без каких-либо выходных данных или журналов ошибок

0 голосов
/ 25 апреля 2018

Я пытаюсь сгенерировать uber-jar с помощью команд sbt compile и sbt package для запуска моего приложения на нашем удаленном сервере с установленным в нем автономным режимом spark.Я использовал фреймворк deeplearning4j для построения нейронной сети LSTM и стараюсь выполнять модели обучения через искру.Тем не менее, я столкнулся с проблемой при запуске команды spark-submit: 

spark-submit --class "lstm.SparkLSTM" --master local[*] 
stock_prediction_scala_2.11-0.1.jar --packages 
org.deeplearning4j:deeplearning4j-core:0.9.1 "/home/hadoop/ScalaWorkspace/Stock_Prediction_Scala/target/lstm_train/prices-split-adjusted.csv" "WLTW"

Проблема в том, что, похоже, spark-submit не вступил в силу в моих обстоятельствах.Он был прерван сразу после входа в spark-submit без каких-либо ошибок.Я не видел прогресса обучения в выводе. 

[hadoop@abc lstm_train]$ spark-submit --class "lstm.SparkLSTM" --master local[*] stock_prediction_scala_2.11-0.1.jar --packages org.deeplearning4j:deeplearning4j-core:0.9.1 "/home/hadoop/ScalaWorkspace/Stock_Prediction_Scala/target/lstm_train/prices-split-adjusted.csv" "WLTW"
2018-04-25 17:06:50 WARN  Utils:66 - Your hostname, gaion34 resolves to a loopback address: 127.0.0.1; using 192.168.0.173 instead (on interface eno1)
2018-04-25 17:06:50 WARN  Utils:66 - Set SPARK_LOCAL_IP if you need to bind to another address
2018-04-25 17:06:51 WARN  NativeCodeLoader:62 - Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
2018-04-25 17:06:51 INFO  ShutdownHookManager:54 - Shutdown hook called
2018-04-25 17:06:51 INFO  ShutdownHookManager:54 - Deleting directory /tmp/spark-c4aee15e-d23b-4c03-95a7-12d9d39f714a

мой основной класс: https://gist.github.com/rickyhai11/627d0da8bc93615785382b249618f43b

Как просмотреть сгенерированные журналы командой spark-submit?Я попытался использовать --verbose, однако, это не помогло.

Любой, кто сталкивался с этой проблемой раньше, пожалуйста, сообщите мне.спасибо

1 Ответ

0 голосов
/ 25 апреля 2018

Как просмотреть сгенерированные журналы командой spark-submit? Я пытался использовать --verbose, но это не помогло.

См. Веб-интерфейс для порта 8080, более подробная информация здесь

Поскольку вы упомянули «удаленный сервер», этот пользовательский интерфейс может быть недоступен в вашем локальном браузере по адресу localhost: 8080. Вам потребуется переадресация портов с туннелированием ssh .

Дополнительно:

Опция --files гарантирует, что ваш .csv загружен в рабочий каталог каждого исполнителя

Убедитесь, что .jar действительно присутствует в ./ По умолчанию sbt package создает uber jar в target/scala-2.11/

Я бы бросил кавычки из названия класса

...