packages=(
'org.apache.spark:spark-core_1.11:2.2.0'
'org.apache.spark:spark-sql_2.11:2.2.0'
'org.apache.spark:spark-hive_2.11:2.2.0'
'mysql:mysql-connector-java:5.1.43'
'org.mongodb.scala:mongo-scala-driver_2.11:2.1.0'
'org.mongodb:mongo-java-driver:3.4.2'
'com.github.scopt:scopt_2.11:3.7.0'
'com.github.nscala-time:nscala-time_2.11:2.18.0'
'org.elasticsearch:elasticsearch-spark-20_2.11:6.1.1'
'org.ansj:ansj_seg:5.1.5'
'org.apache.spark:spark-mllib_2.11:2.2.0'
'org.apache.spark:spark-mllib_2.11:2.2.0'
'com.sksamuel.elastic4s:elastic4s-core_2.11:6.1.4'
'com.sksamuel.elastic4s:elastic4s-http_2.11:6.1.4'
'com.softwaremill.sttp:core_2.11:1.1.9'
'com.softwaremill.sttp:core_2.11:1.1.9'
'org.apache.spark:spark-streaming-kafka-0-10_2.11:2.2.0'
'org.postgresql:postgresql:42.2.2'
)
spark-submit --packages $(echo ${packages[*]} | tr ' ' ','}) --driver-class-path /data/bigdata/simple.jar --deploy-mode cluster --class com.xinpinget.bolt.stream.SCEventStreamTest --master spark://spark:7077 http://spark/tmp/all_2.11-0.1.jar
Это сценарий, который я использую задание отправки свечей.Режим развертывания - кластерный.Но после выполнения задания журнал драйверов не может быть найден в истории искрового интерфейса и искры.Можно найти только рабочий журнал.
А в каталоге SPARK_HOME можно найти журнал драйверов.Но не всегда удобно проверять вход в консоль каждый раз.