Каким должен быть вход для метода setJars () в Spark Streaming - PullRequest
Новая
       12

Каким должен быть вход для метода setJars () в Spark Streaming

0 голосов
/ 05 мая 2018 
val conf = new SparkConf(true)
.setAppName("Streaming Example")
.setMaster("spark://127.0.0.1:7077")
.set("spark.cassandra.connection.host","127.0.0.1")
.set("spark.cleaner.ttl","3600")
.setJars(Array("your-app.jar"))

Допустим, я создаю Spark Streaming Application

Каким должно быть содержимое файла "your-app.jar"? Нужно ли создавать его вручную в моей локальной файловой системе и передавать путь или это скомпилированный файл Scala с использованием sbt.

Если это файл scala, пожалуйста, помогите написать код

Поскольку я новичок, я просто пытаюсь запустить некоторые примеры кодов.

1 Ответ

0 голосов
/ 06 мая 2018

Метод setJars класса SparkConf принимает внешние JAR-файлы, которые необходимо распределить по кластеру. Любые внешние драйверы, такие как JDBC и т. Д.

Вам не нужно передавать свой собственный JAR приложения, если это то, что вы просите.

...