Пользовательский класс не распознается с помощью fat-jar, но $ SPARK_HOME / jars.Почему? - PullRequest
Новая
       21

Пользовательский класс не распознается с помощью fat-jar, но $ SPARK_HOME / jars.Почему?

0 голосов
/ 17 апреля 2019

Положение

  • Бегущая искра на кластере YARN.
  • Версия Spark 2.4.0
  • Наличие кастрюли для мойки с меткой искры - custom-metrics.jar. И имя класса раковины org.apache.spark.metrics.sink.CustomSink
  • Сделал флягу, которая включена в мою работу с spark и custom-metrics через sbt-сборку - fat.jar

Что я сделал

  1. Я пытался spark-submit с помощью fat.jar и остановился из-за ClassNotFoundException: org.apache.spark.metrics.sink.CustomSink .
  2. Итак, я гуглил и нашел решение, которое копирует fat.jar в $ SPARK_HOME / jars . И spark-submit удалось!

Вопрос

В чем разница между

  • отправка искровой работы с толстяком
  • копирование fat-jar в $ SPARK_HOME / jars перед отправкой задания spark
...