Вывод результатов spark-submit

Question

Я новичок в программировании на spark и scala, я пробовал запустить пример с spark-submit в локальном режиме, он выполняется без ошибок или других сообщений, но я не вижу никакого результата в веб-интерфейсе консула или истории искры. .Где и как я могу увидеть результаты моей программы в spark-submit?

Это команда, которую я запускаю на свече

spark-submit --master local[*] --conf spark.history.fs.logDirectory=/tmp  /spark-events --conf spark.eventLog.enabled=true  --conf   spark.eventLog.dir=/tmp/spark-events --conf spark.history.ui.port=18080 --class com.intel.analytics.bigdl.models.autoencoder.Train dist/lib/bigdl-0.5.0-SNAPSHOT-jar-with-dependencies.jar -f /opt/work/mnist  -b 8

и это скриншот программы конца запуска

Answer 1

Вы также можете найти свой spark-defaults.conf (или spark-defaults.conf.template и скопировать его в spark-defaults.conf)

Создать каталог регистрации (например, /tmp/spark-events/)

Добавьте эти 2 строки:

spark.eventLog.enabled           true
spark.eventLog.dir               file:///tmp/spark-events/

И запустить sbin/start-history-server.sh

Чтобы все задания выполнялись с помощью spark-submit, регистрируйте их в журнале событий и просматривайте обзоры на сервере истории (http://localhost:18080/) => Веб-интерфейс без сохранения работоспособности вашего задания зажигания

Подробнее: https://spark.apache.org/docs/latest/monitoring.html

PS: на mac через homebrew это все в подкаталогах /usr/local/Cellar/apache-spark/[version]/libexec/

Answer 2

большое спасибо за ваш ответ, я уже сделал эти настройки в команде spark-submit, используя "--conf", и я могу просмотреть историю веб-интерфейса с помощью "spark-class org.apache.spark.deploy.history.HistoryServer "но у меня нет доступа к" start-history-server.sh ". Я вижу задачи и задания, выполненные в истории веб-интерфейса, я проверил все вкладки (задания, этапы, хранилище, исполнители) и не нашел результатов вывода нигде Можете ли вы объяснить мне, где находятся результаты в истории веб-интерфейса или даже в консуле? (Моя цель - числовые результаты в виде вывода набора данных, принятого в команде spark-submit)

скриншот из истории веб-интерфейса

Привет

Answer 3

Попробуйте добавить это while(true) Thread.sleep(1000) в ваш код, чтобы сервер работал, затем проверьте задачу искр в браузере.Обычно вы должны видеть, что ваше приложение работает.