таблица не экспортируется в postgresql в Spark - PullRequest
0 голосов
/ 12 июля 2020

Я пытаюсь импортировать csv из hdfs и после преобразования в искровом теле я пытаюсь экспортировать измененную таблицу в postgresql. Ошибок нет, но и экспортируемой таблицы нет. Данные csv успешно обрабатываются и записываются на localhost (в качестве промежуточной точки метабазы), но не сохраняются в postgresql. Я пишу это в командной строке и заметил, что если вы удалите то, что произойдет после кластера ha, ничего не изменится, на выходе будет выход 0, у локального хоста будет таблица, а у postre sql ее нет . Я думаю, что, может быть, ты не можешь так писать, но я не знаю, что делать. Все работает локально и сохраняется, поэтому код в основном работает, но не работает на postgresql, я думаю, из-за ошибки в параметрах командной строки.

Properties conProperties = new Properties();
    conProperties.setProperty("driver", "org.postgresql.Driver");
    conProperties.setProperty("user", srgs[2]);
    conProperties.setProperty("password", args[3]);

    finalTable.write()
            .format("orc")
            .mode(SaveMode.Overwrite)
            .option("header", "true")
            .option("inferSchema", "true")
            .option("stringtype", "unspecified")
            .jdbc(args[1], "dataTable", conProperties);

spark-submit --class com.pack.Main --master yarn --deploy-mode cluster /project/build/libs/mainC-1.0-SNAPSHOT.jar ha-cluster?jdbc:postgresql://MyHostame:5432/nameUser&user=nameUser&password=passwordUser
Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...