Я пытаюсь импортировать csv из hdfs и после преобразования в искровом теле я пытаюсь экспортировать измененную таблицу в postgresql. Ошибок нет, но и экспортируемой таблицы нет. Данные csv успешно обрабатываются и записываются на localhost (в качестве промежуточной точки метабазы), но не сохраняются в postgresql. Я пишу это в командной строке и заметил, что если вы удалите то, что произойдет после кластера ha, ничего не изменится, на выходе будет выход 0, у локального хоста будет таблица, а у postre sql ее нет . Я думаю, что, может быть, ты не можешь так писать, но я не знаю, что делать. Все работает локально и сохраняется, поэтому код в основном работает, но не работает на postgresql, я думаю, из-за ошибки в параметрах командной строки.
Properties conProperties = new Properties();
conProperties.setProperty("driver", "org.postgresql.Driver");
conProperties.setProperty("user", srgs[2]);
conProperties.setProperty("password", args[3]);
finalTable.write()
.format("orc")
.mode(SaveMode.Overwrite)
.option("header", "true")
.option("inferSchema", "true")
.option("stringtype", "unspecified")
.jdbc(args[1], "dataTable", conProperties);
spark-submit --class com.pack.Main --master yarn --deploy-mode cluster /project/build/libs/mainC-1.0-SNAPSHOT.jar ha-cluster?jdbc:postgresql://MyHostame:5432/nameUser&user=nameUser&password=passwordUser