Например, у меня есть фрейм данных с разной длиной не вложенного json: и для каждого json у меня есть около 200 ключей.Так что невозможно использовать pyspark.sql.functions.get_json_object.
id, json(string format)
1, {‘a’: 1, ‘b’:2, ‘c’:3, ...}
2, {‘a’: 1, ‘b’:2, ... }
3, {‘a’: 1 , ‘c’:3, ... }
Я хочу разбить его на:
id, a, b, c
1, 1, 2, 3
2, 1, 2, null
3, 1, null, 3