Как сохранить фрейм данных в MySQL с помощью pyspark

Question

Я новичок в спарке, у меня есть случай использования, когда мне нужно сохранить данные фрейма данных в MySQL. Я получил код ниже, чтобы сделать то же самое:

data_frame.write.format('jdbc').options(
    url='URI',
    driver='com.mysql.jdbc.Driver',
    dbtable=table_name,
    user=user_name,
    password='your_password').mode('append').save()

Но когда я разглагольствовал код, полученный нижеошибка:

    File "/usr/local/Cellar/apache-spark/2.3.1/libexec/python/lib/py4j-0.10.7-src.zip/py4j/protocol.py", line 328, in get_return_value
py4j.protocol.Py4JJavaError: An error occurred while calling o207.save.
: java.lang.ClassNotFoundException: com.mysql.jdbc.Driver

Я могу упустить очень мелкие детали.Может ли кто-нибудь помочь мне здесь.Заранее спасибо.

Answer 1

В описании ошибки четко указано, что он не может найти класс драйвера jdbc.Вам нужно будет включить jar для com.mysql.jdbc.Driver, используя

pyspark --jars  <jar-file-location>    

см. Этот вопрос - ( Как добавить сторонние java-баночки для использования в pyspark )