java .lang.ClassNotFoundException: com. mysql .jdb c. Драйвер в ноутбуке Jupyter на Amazon EMR - PullRequest
Новая
       46

java .lang.ClassNotFoundException: com. mysql .jdb c. Драйвер в ноутбуке Jupyter на Amazon EMR

0 голосов
/ 23 апреля 2020

При попытке подключиться к базе данных MySql в RDS из EMR Jupyter Notebook, я обнаружил следующую ошибку:

Используемый код: 

from pyspark.sql import SparkSession
hostname="hostname"
dbname = "mysql"
jdbcPort = 3306
username = "user"
password = "password"
jdbc_url = "jdbc:mysql://{0}:{1}/{2}?user={3}&password={4}".format(hostname,jdbcPort, dbname,username,password)
query = "(select * from framework.File_Columns) as table1"
df1 = spark.read.format('jdbc').options(driver = 'com.mysql.jdbc.Driver',url=jdbc_url, dbtable=query ).load()
df1.show()

Сообщение об ошибке:

Произошла ошибка при вызове o89.showString. : org. apache .spark.SparkException: задание прервано из-за сбоя этапа: задание 0 на этапе 0.0 не выполнено 4 раза, последний сбой: потерянное задание 0.3 на этапе 0.0 (TID 3, ip-172-31-37-50 .us-west-2.compute.internal, исполнитель 1): java .lang.ClassNotFoundException: com. mysql .jdb c .Driver

Я загрузил требуемый mysql-connector-java-5.1.47.jar до /home/hadoop/mysql-connector-java-5.1.47.jar и обновили файл конфигурации Spark следующим образом: 

spark.master                     yarn

spark.driver.extraClassPath      :/usr/lib/hadoop-lzo/lib/*:/usr/lib/hadoop/hadoop-aws.jar:/usr/share/aws/aws-java-sdk/*:/usr/share/aws/emr/emrfs/conf:/usr/share/aws/emr/emrfs/lib/*:/usr/share/aws/emr/emrfs/auxlib/*:/usr/share/aws/emr/goodies/lib/emr-spark-goodies.jar:/usr/share/aws/emr/security/conf:/usr/share/aws/emr/security/lib/*:/usr/share/aws/hmclient/lib/aws-glue-datacatalog-spark-client.jar:/usr/share/java/Hive-JSON-Serde/hive-openx-serde.jar:/usr/share/aws/sagemaker-spark-sdk/lib/sagemaker-spark-sdk.jar:/home/hadoop/extrajars/*:/home/hadoop/extrajars/mysql-connector-java-5.1.47.jar

spark.driver.extraLibraryPath    /usr/lib/hadoop/lib/native:/usr/lib/hadoop-lzo/lib/native:/home/hadoop/extrajars/*:/home/hadoop/extrajars/mysql-connector-java-5.1.47.jar

spark.executor.extraClassPath    :/usr/lib/hadoop-lzo/lib/*:/usr/lib/hadoop/hadoop-aws.jar:/usr/share/aws/aws-java-sdk/*:/usr/share/aws/emr/emrfs/conf:/usr/share/aws/emr/emrfs/lib/*:/usr/share/aws/emr/emrfs/auxlib/*:/usr/share/aws/emr/goodies/lib/emr-spark-goodies.jar:/usr/share/aws/emr/security/conf:/usr/share/aws/emr/security/lib/*:/usr/share/aws/hmclient/lib/aws-glue-datacatalog-spark-client.jar:/usr/share/java/Hive-JSON-Serde/hive-openx-serde.jar:/usr/share/aws/sagemaker-spark-sdk/lib/sagemaker-spark-sdk.jar:/home/hadoop/extrajars/*:/home/hadoop/extrajars/mysql-connector-java-5.1.47.jar

spark.executor.extraLibraryPath  /usr/lib/hadoop/lib/native:/usr/lib/hadoop-lzo/lib/native:/home/hadoop/extrajars/*:/home/hadoop/extrajars/mysql-connector-java-5.1.47.jar

Что еще мне нужно сделать, чтобы подключиться к БД MySql из ноутбука Jupyter?

1 Ответ

1 голос
/ 23 апреля 2020

Поскольку он не может найти класс драйвера при запуске его из Jupyter Notebook, во избежание этого вы можете попробовать скопировать mysql-connector-java-5.1.47.jar в папку $SPARK_HOME/jars. Это решит проблему с вашим драйвером согласно моему личному опыту.

...