Невозможно записать фрейм данных pysaprk в базу данных mysql - PullRequest
Новая
       21

Невозможно записать фрейм данных pysaprk в базу данных mysql

1 голос
/ 21 июня 2019

Я новая пчела, чтобы зажечь. Я пытаюсь записать фрейм данных pyspark в базу данных mysql. Я получаю исключение нулевого указателя.

Это какой-либо связанный формат Avro, о котором упоминается Spark, выдающий исключение нулевого указателя при выполнении jdbc save .

Пожалуйста, дайте мне знать, как решить эту ошибку.

Код: 

spark = SparkSession.builder.master("spark://*******:7077").appName("amazon-insights").config("spark.executor.memory", "6gb").config("spark.jars","/usr/local/spark/jars/mysql-connector-java-5.1.45-bin.jar").getOrCreate()

reviews.write.jdbc(url="jdbc:mysql:://**host***:3306/sparkjobs",table="reviews",mode="append",properties={"driver": "com.mysql.jdbc.Driver","user":"****","password":"****"})

Ошибка:

py4j.protocol.Py4JJavaError: Произошла ошибка при вызове o545.jdbc. : java.lang.NullPointerException в org.apache.spark.sql.execution.datasources.jdbc.JdbcRelationProvider.createRelation (JdbcRelationProvider.scala: 99) в org.apache.spark.sql.execution.datasources.SaveIntoDataSourceCommand.run (SaveIntoDataSourceCommand.scala: 45) в org.apache.spark.sql.execution.command.ExecutedCommandExec.sideEffectResult $ lzycompute (commands.scala: 70)

...