AWS Клей - Pyspark JDB C коннектор - PullRequest
Новая
       13

AWS Клей - Pyspark JDB C коннектор

0 голосов

Я использую приведенные ниже операторы для чтения и усечения таблицы SQL из задания склеивания AWS. Это прекрасно работает без каких-либо проблем. Теперь я не хочу обрезать всю мою таблицу, вместо этого мне нужно удалить только определенный c набор строк. Я пробовал разные варианты, но не смог. Есть ли способ? 

table = "select id from dbo.product"
user = "username"
password = "password"

jdbcDF = spark.read.format("jdbc") \
    .option("url", "jdbc:sqlserver://<serverip:port>;databaseName=productdb") \
    .option("dbtable", table) \
    .option("user", user) \
    .option("password", password) \
    .option("driver", "com.microsoft.sqlserver.jdbc.SQLServerDriver") \
    .load()

x = jdbcDF.write.format("jdbc") \
    .option("url", "jdbc:sqlserver://<serverip:port>;databaseName=productdb") \
    .option("dbtable", table) \
    .option("user", user) \
    .option("password", password) \
    .mode("overwrite").option("truncate", "true") \
    .save()
...