Как разрешить (java .lang.ClassNotFoundException: com.mongodb.spark. sql .DefaultSource.DefaultSource) в pyspark, я использую pycharm - PullRequest
Новая
       8

Как разрешить (java .lang.ClassNotFoundException: com.mongodb.spark. sql .DefaultSource.DefaultSource) в pyspark, я использую pycharm

0 голосов
/ 09 июля 2020

С Pycharm я получаю эту ошибку: java.lang.ClassNotFoundException: com.mongodb.spark.sql.DefaultSource.DefaultSource Как я могу решить эту проблему?

Я пробовал: 

spark = SparkSession.builder.config("spark.jars", "/Users/diwakarkumar/spark-2.4.6-bin-hadoop2.7/jars/").appName(
    "my_job").master("local[*]").getOrCreate()

I также попытался установить путь к классам для банок .bash_profile: 

export CLASSPATH=~/my_jars/

У меня было много банок в my_jars, но все равно он не работал. У меня все та же ошибка.

1 Ответ

1 голос
/ 09 июля 2020

Укажите jar-файлы, разделенные запятыми, вместо пути к каталогу в spark.jars 

spark = SparkSession.builder.config("spark.jars", "/Users/diwakarkumar/spark-2.4.6-bin-hadoop2.7/jars/jar1,/Users/diwakarkumar/spark-2.4.6-bin-hadoop2.7/jars/jar2").appName(
    "my_job").master("local[*]").getOrCreate()

В качестве альтернативы вы также можете использовать опцию пакета.

...