В памяти JSON String to Spark Dataframe для записи в HDFS - PullRequest
Новая
       42

В памяти JSON String to Spark Dataframe для записи в HDFS

0 голосов
/ 15 апреля 2020

Так много на inte rnet in scala. Мне нужна некоторая помощь в Java, и мне нужна помощь для чтения в памяти JSON String и записи его в Dataframe. Я использую Джексона для чтения ответа от API, а затем создаю объект Java, который затем преобразую в строку JSON. С этой строкой я хочу создать Dataframe. Строка очень проста. Это совсем не гнездо. Пример строки первые несколько полей ... 

{"acct_ref_nb":0,"txn_pst_dt":"2020-03-26","txn_am":0.0,"clse_sts_rsn_cd":"","acct_tp_cd":"P","cr_bhvr_day_ver2_sc":0,

Я создаю эту строку с помощью ... 

String finalJSONString = mapper.writeValueAsString(simulationTable);

SimulationTable - это мой Java объект, который является просто набором @ Аннотации JsonProperty, определяющие все поля

В конечном итоге я хочу создать Dataframe и продолжать добавлять к этому DataFrame больше строк JSON, а затем в конечном итоге взять этот Dataframe и записать его в HDFS в виде файла с разделителями-запятыми в формате csv.

...