Конвертировать DataFrame из строк JSON

Question

Можно ли преобразовать DataFrame, содержащий строки JSON, в DataFrame, содержащий типизированное представление строк JSON, используя Spark 2.4?

Например: учитывая приведенное ниже определение, я хотел бы преобразовать один столбец в jsonDF, используя схему, выведенную из строки JSON.

val jsonDF = spark.sparkContext.parallelize(Seq("""{"a": 1, "b": 2}""")).toDF

Answer 1

DataFrameReader может читать JSON из наборов строковых данных. Например, используя toDS вместо toDF

val jsonDS = Seq("""{"a": 1, "b": 2}""").toDS
spark.read.json(jsonDS).show()

Выход:

+---+---+
|  a|  b|
+---+---+
|  1|  2|
+---+---+