Как передать файл jar (из Artifactory) в dcos spark run? - PullRequest
Новая
       35

Как передать файл jar (из Artifactory) в dcos spark run?

0 голосов
/ 19 ноября 2018

Я пытаюсь запустить работу с потоковым воспроизведением на платформе DC / OS, и у меня проблема с пакетами kafka. Когда я пытаюсь включить библиотеку Kafka и ее зависимости (jar-файл, загруженный из Maven, добавленный в артефакт и считанный оттуда) с использованием режима --jars следующим образом: 

dcos spark run --submit-args"--jars https://../../../spark-streaming 2.11-2.2.1.jar --conf spark.executor.memory=2g --py-files=https://../../../libs.zip,https://../../../test.py etc"

кажется, что файл libs.zip, test.py правильно прочитан, но .jar файл опущен.

Есть идеи, почему? Есть ли решение для такого рода проблем?

Заранее спасибо за любую помощь!

1 Ответ

0 голосов
/ 25 декабря 2018

Я не уверен, почему команда dcos spark submit не поддерживает параметр --jar, но вы можете использовать свойство spark.mesos.uris для загрузки артефактов в рабочий каталог драйвера Spark и исполнитель.

Я не уверен, как ваша работа Spark на основе Python будет использовать JAR-файлы, но вам может потребоваться установить свойства конфигурации spark.executor.extraClassPath и spark.driver.extraClassPath .

...