Отправка заявки в Spark Cluster с использованием spark submit

Question

Я новичок в Spark.Я хочу запустить приложение Spark Structured Streaming в кластере.Мастер и работники имеют одинаковую конфигурацию.

У меня есть несколько запросов на отправку приложения в кластер с помощью spark-submit: Вы можете найти их смешными или странными.

1. Как указать путь дляСторонние банки, такие как lib / *?(Приложение имеет более 30 банок)
2. Будет ли Spark автоматически распространять приложение и необходимые баночки для работников?
3. Требуется ли размещение приложения на всех рабочих?
4. Как я могузнать состояние моего приложения, когда я работаю на консоли.

Я использую следующий сценарий для Spark-submit.

   spark-submit 
  --class <class-name> 
  --master spark://master:7077 
  --deploy-mode cluster 
  --supervise 
  --conf spark.driver.extraClassPath <jar1, jar2..jarn> 
  --executor-memory 4G 
  --total-executor-cores 8 
 <running-jar-file>

Но код не выполняется согласно ожиданиям.Я что-то упустил?

Answer 1

Чтобы передать несколько файлов JAR в Spark-submit, вы можете установить следующие атрибуты в файле SPARK_HOME_PATH/conf/spark-defaults.conf (создать, если не существует):

Не забудьте использовать * в концепути

spark.driver.extraClassPath /fullpath/to/jar/folder/*
spark.executor.extraClassPath /fullpathto/jar/folder/*

Spark установит атрибуты в файле spark-defaults.conf при использовании команды spark-submit.Скопируйте файл JAR в этот каталог, и при отправке приложения Spark в кластер также будут загружены файлы JAR по указанным путям.

spark.driver.extraClassPath : Дополнительные записи classpath для добавления к classpath драйвера.Примечание. В режиме клиента этот конфиг не должен быть установлен через SparkConf непосредственно в вашем приложении, потому что драйвер JVM уже запущен в этот момент.Вместо этого установите это с помощью параметра командной строки --driver-class-path или в файле свойств по умолчанию.

Answer 2

Вы можете сделать толстый кувшин, содержащий все зависимости.Ниже ссылка поможет вам понять это.

https://community.hortonworks.com/articles/43886/creating-fat-jars-for-spark-kafka-streaming-using.html

Answer 3

--jars перенесет ваши файлы JAR на рабочие узлы и станет доступным как в пути к классам драйверов, так и для исполнителей.

Для получения более подробной информации см. Ссылку ниже.

http://spark.apache.org/docs/latest/submitting-applications.html#advanced-dependency-management