Pyspark передать несколько опций в dataframe - PullRequest
0 голосов
/ 02 июля 2019

Я новичок в Python и Pyspark.Я хотел бы знать, как я могу написать ниже функцию искры dataframe в pyspark:

val df = spark.read.format("jdbc").options(
       Map(
        "url" -> "jdbc:someDB", 
        "user" -> "root", 
        "password" -> "password", 
        "dbtable" -> "tableName", 
        "driver" -> "someDriver")).load()

Я попытался написать как показано ниже в pyspark.Но, получая синтаксическую ошибку:

df = spark.read.format("jdbc").options(
      map(lambda : ("url","jdbc:someDB"), ("user","root"), ("password","password"), ("dbtable","tableName"), ("driver","someDriver"))).load()

Заранее спасибо

1 Ответ

0 голосов
/ 02 июля 2019

Попробуйте использовать option() вместо:

df = spark.read \
    .format("jdbc") \
    .option("url","jdbc:someDB") \
    .option("user","root") \
    .option("password","password") \
    .option("dbtable","tableName") \ 
    .option("driver","someDriver") \
    .load()
...