Сохранить DataFrame в postgresql

Question

Я пытаюсь сохранить свой фрейм данных в * .или c, используя jdb c в postgresql. У меня есть промежуточная таблица, созданная на моем локальном хосте на сервере, который я использую, но таблица не сохраняется в postgresql. Я хотел бы узнать, с какими расширениями работает postgresql (возможно, вы не сможете создать в нем таблицу * .или c) и что он принимает - набор данных или sql запрос из созданной таблицы. Я использую искру.

Properties conProperties = new Properties();
conProperties.setProperty("driver", "org.postgresql.Driver");
conProperties.setProperty("user", srgs[2]);
conProperties.setProperty("password", args[3]);

finalTable.write()
        .format("orc")
        .mode(SaveMode.Overwrite)
        .jdbc(args[1], "dataTable", conProperties);

spark-submit --class com.pack.Main --master yarn --deploy-mode cluster /project/build/libs/mainC-1.0-SNAPSHOT.jar ha-cluster?jdbc:postgresql://MyHostame:5432/nameUser&user=nameUser&password=passwordUser

Answer 1

Вы не можете сохранить формат .orc в Postgres. Вы бы тоже этого не захотели.

См. Обновленные write ниже

finalTable.write
  .format("jdbc")
  .option("url", srgs[1])
  .option("dbtable", "dataTable")
  .option("user", srgs[2])
  .option("password", args[3])
  .save()