Почему возникает ошибка spark-submit с «Не удается загрузить основной класс из JAR» для параметра --jars?

Question

Я попробовал эту команду в терминале Pycharm для подключения к mysql серверу.

$SPARK_HOME/bin/spark-submit –-jars /Users/akay_nation/Desktop/spark/jars/mysql-connector-java-8.0.19 abc.py

Но при выполнении этой команды я получаю эту ошибку:

Exception in thread "main" org.apache.spark.SparkException: Cannot load main class from JAR file:/Users/akay_nation/PycharmProjects/abc/–-jars
        at org.apache.spark.deploy.SparkSubmitArguments.error(SparkSubmitArguments.scala:657)
        at org.apache.spark.deploy.SparkSubmitArguments.loadEnvironmentArguments(SparkSubmitArguments.scala:221)
        at org.apache.spark.deploy.SparkSubmitArguments.<init>(SparkSubmitArguments.scala:116)
        at org.apache.spark.deploy.SparkSubmit$$anon$2$$anon$1.<init>(SparkSubmit.scala:907)
        at org.apache.spark.deploy.SparkSubmit$$anon$2.parseArguments(SparkSubmit.scala:907)
        at org.apache.spark.deploy.SparkSubmit.doSubmit(SparkSubmit.scala:81)
        at org.apache.spark.deploy.SparkSubmit$$anon$2.doSubmit(SparkSubmit.scala:920)
        at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:929)
        at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)

Может кто-нибудь сказать мне В чем проблема? Или это неправильная команда для подключения к mysql серверу?

Answer 1

Два символа -- перед параметром jars на самом деле не выглядят как две черточки, так что в итоге вы получили что-то вроде --jars, но это не так. Вот почему spark-submit выдает следующие ошибки: SparkException:

SparkException: Cannot load main class from JAR file:/Users/akay_nation/PycharmProjects/abc/–-jars