Чтение динамического столбца JSON и преобразование в несколько столбцов (Pyspark) - PullRequest
0 голосов
/ 08 ноября 2019

У меня есть фрейм данных со столбцом, содержащим JSON-подобные строки, которые я хочу преобразовать в несколько столбцов. (Извините, я не знаю, как создавать хорошие таблицы здесь ...)


Что у меня есть:

id - params
1- {'p1': 0,1, 'p2': 0,3}
2 - {'p1': 0,2, 'p3': 0,1}


Что мне нужно:

id - p1 - p2 - p3
1 - 0,1 - 0,3 - ноль
2 - 0,2 - ноль - 0,1


Я собираюсь использовать get_json_object ()поэтому мне нужно определить мои объекты «$ .p1», «$ .p2» и «$ .p3». Но я не знаю, что я получу! Поэтому мне удалось идентифицировать все новые столбцы, которые я хочу добавить, и поместить их в список params_list и попробовать что-то вроде:

  • get_json_object(input_df.params, '$'.params_list[i])

  • get_json_object(input_df.params, $[params_list[i]])

Но, очевидно, я смешиваю типы и не знаю, что я делаю, так что это терпит неудачу. Есть идеи?

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...