Spark Java - конвертировать JSON из CSV на карту - PullRequest
0 голосов
/ 28 ноября 2018

У меня есть CSV-файл с ~ 30 столбцами, один из столбцов является строкой json.Что я хочу сделать, это прочитать CSV и разбить JSON на строки (взорваться).

например: CSV:

"data1,date1,{"USERS-1":"ff", "name1":"Joe1", "age":"1"},1" 
"data2,date2,{"USERS-2":"ff", "name2":"Joe2", "age":"2"},2" 
"data3,date3,{"USERS-3":"ff", "name3":"Joe3", "age":"3"},3" 

Результат после:

"data1,date1,"USERS-1","ff",1"
"data1,date1,"name1","Joe1",1"
"data1,date1,"age","1",1"
"data2,date2,"USERS-2","ff",2"
"data2,date2,"name2","Joe1",2"
"data2,date2,"age","2",2"
"data3,date3,"USERS-3","ff",3"
"data3,date3,"name3","Joe1",3"
"data3,date3,"age","3",3"

Я не пишу в scala.

Json неструктурирован!

1 Ответ

0 голосов
/ 29 ноября 2018

Джо!Я написал класс, чтобы показать вам, как я буду подходить к вашей проблеме.Следуя коду, я дам вам дополнительную информацию, чтобы вы лучше поняли, что делает код.даты и содержание находятся в скобках.Содержимое снова разделяется, обрезается для удаления "" найденных на концах строк, и пустые строки отфильтровываются.Теперь у нас есть список элементов, касающихся нас.Для лучшей наглядности того, что делает метод, я решил напечатать результат.Вы можете легко изменить код, чтобы они возвращались в списке или как вам угодно.Я надеюсь, что мой ответ был полезен, хорошего дня!

...