Я использую REST API и получаю этот результат. Я должен сгладить данные, создать объект Java, используя Джексона, чтобы получить определенную структуру, затем я использую Джексона, чтобы прочитать как сглаженную, не вложенную строку JSON. Это просто. Вот пример JSON строка ...
{"acct_ref_nb":0,"txn_pst_dt":"2020-03-26","txn_am":0.0,"clse_sts_rsn_cd":"","acct_tp_cd":"P","cr_bhvr_day_ver2_sc":0,"cr_rvk_sts_rsn_cd":"" ........
С этим мне нужно записать в HDFS. Я хочу файл в HDFS, либо паркет, либо CSV, это не имеет большого значения, и у меня соответственно есть столбцы и данные, как указано выше. Это пакетный процесс, и мы будем записывать в этот файл HDFS много раз в течение всего пакета, когда получим ответы, и все эти записи должны появиться в этой HDFS. Я кодирую в Java и ничего не могу найти, используя для этого Java в Интернете.