Разбор JSON столбца фрейма данных Spark с переменной схемой

Question

У меня есть столбец Dataframe в формате JSON с переменной схемой. Мне нужно проанализировать данные в столбце и поместить их в Hbase. Например, как показано ниже, это столбец фрейма данных с JSON:

Col1
{“Name”:”Ram”,”Place”:”RamGarh”}
{“Name”:”Lakshman”,”Place”:”LakshManPur”.”DepartMent”:”Operations”}
{“Name”:”Sita”,”Place”:”SitaPur”,”Experience”,”14”}

Мне нужно проанализировать эти JSON данные. Какой способ должен быть наиболее эффективным? Так что, по крайней мере, я могу представить в форме ключ -> значение.

Ram->       (Place -> Ramgarh)
Lakshman -> (Place -> LakshmanPur,
             Department -> Operations)

Мне нужно вставить данные в Hbase с именем и ключом и другими в виде столбцов.