Передача нескольких системных свойств в spark-submit - PullRequest
Новая
       38

Передача нескольких системных свойств в spark-submit

0 голосов
/ 29 января 2019

Я пытаюсь запустить работу с помощью spark-submit в Windows.Я выполняю приведенную ниже команду spark-submit из командной строки.

spark-submit - путь к классу драйвера % FILE_NAME% \ config - файлы % FILE_NAME% \ config \ app.conf,% FILE_NAME% \ config \ log4j.properties - conf"spark.driver.extraJavaOptions = -Dcassandra.username = cassandra -Dcassandra.password = cassandra @123 " - класс com.sapient.main.MainApp% FILE_NAME% \ lib \ test.jar

Здесь я пытаюсь передать два системных свойства, используя spark.driver.extraJavaOptionsодин - cassandra.username, а другой - cassandra.password, но при выполнении команды я получаю ошибку ниже 

The input line is too long.

Однако, если я передаю только одно системное свойство extraJavaOptions и без двойных кавычек "" как показано ниже, тогда все работает нормально. 

 --conf spark.driver.extraJavaOptions=-Dcassandra.username=cassandra

Но мне нужно передать 2 системных свойства.Может кто-нибудь помочь, пожалуйста, как решить эту проблему?Также дайте мне знать, если есть другой способ передать системные свойства в spark, который мог бы избежать этой проблемы.

Примечание: Он работает в среде Linux.

1 Ответ

0 голосов
/ 29 января 2019

Вы можете использовать файл conf и передать его в spark-submit

или

передать, как показано ниже 

--conf spark.driver.extraJavaOptions=-Dcassandra.username=cassandra\
--conf spark.rpc.message.maxSize=1024\
--conf spark.network,timeout=1000\
...