Запись данных Spark в столбец Postgres в двойных кавычках - PullRequest
0 голосов
/ 01 июня 2018

Я пытаюсь записать Dataframe в Postgres, где имена столбцов в Dataframe являются кодами в верхнем регистре.Но таблица в Postgres имеет имена столбцов в нижнем регистре.Когда

dataframe.write.jdbc -> java.sql.BatchUpdateException: Batch entry 0 INSERT INTO xxxxxxxx ("USE_CASE_ID","CUSTOMER_CODE","HOLDOUT","REFERENCE_ID","TAG_FIELDS","COMMS_RUN_ID","PRIMARY_OFFER_ID") VALUES

ERROR: column "USE_CASE_ID" of relation "xxxxxxxx" does not exist

Как я могу сделать эту работу для любой базы данных в будущем.Я не уверен, почему Spark SQL ставит «» для имен столбцов?

Другая проблема заключается в том, что для модульного тестирования я использовал базу данных H2, которая ожидает, что имена столбцов будут в UPPERCASE.Поэтому мне придется удовлетворить несколько баз данных.

...