кто может читать таблицы из postgres с искрой?

Question

Я хочу прочитать таблицу из postgres с искрой.Я хотел бы сделать это, используя python.

Я написал следующий код для доступа к таблице postgres, но, похоже, он не работает:

a = (spark.read.format('jdbc')
         .option("url", "jdbc:postgres://localhost/datasetname")
         .option("dbtable", "tablename").option("user", "postgres")
         .option("password", "pass"))

Как я могу реализовать это правильно?

Answer 1

Из ( doc ):

jdbcDF = spark.read.format("jdbc") \
    .option("url", "jdbc:postgresql:dbserver") \
    .option("dbtable", "schema.tablename") \
    .option("user", "username") \
    .option("password", "password") \
    .load()

Итак, я полагаю, что ваша ошибка связана с тем, что вы используете postgres : dbserver, а не postgresql : dbserver!