Как проверить, включен ли необходимый ключ в JSON-искру Scala Dataframe

Question

У меня есть датафрейм, как показано ниже.

ID,       details_Json
1         {"name":"Anne","Age":"12","country":"Denmark"}
2         {"name":"Zen","Age":"24"}
3         {"name":"Fred","Age":"20","country":"France"}
4         {"name":"Mona","Age":"18","country":"Denmark"}

Как видите, поля в json не являются фиксированными. Это может быть больше, чем данные поля. Я имею в виду иногда name, Age, country, а в другой раз это может быть что-то вроде name, Age, country, University или name, Age, university

Я хочу отфильтровать строки, которые включают country в его json, и страна равна Дании.

Мой вывод должен выглядеть следующим образом.

ID,       details_Json
1         {"name":"Anne","Age":"12","country":"Denmark"}
4         {"name":"Mona","Age":"18","country":"Denmark"}

Есть ли способ сделать это?

Спасибо:)

Answer 1

Вот способ:

//Construct dataframe
val df = sc.parallelize(Seq((1,"{\"name\":\"Anne\",\"Age\":\"12\",\"country\":\"Denmark\"}"), 
             (2, "{\"name\":\"Zen\",\"Age\":\"24\"}"), 
             (3, "{\"name\":\"Fred\",\"Age\":\"20\",\"country\":\"France\"}"), 
             (4, "{\"name\":\"Mona\",\"Age\":\"18\",\"country\":\"Denmark\"}"))).toDF("ID", "details_Json")

df.show

+---+--------------------+
| ID|        details_Json|
+---+--------------------+
|  1|{"name":"Anne","A...|
|  2|{"name":"Zen","Ag...|
|  3|{"name":"Fred","A...|
|  4|{"name":"Mona","A...|
+---+--------------------+

import org.apache.spark.sql.types.{StructType, StructField, StringType, IntegerType}
val struct =
  StructType(
    StructField("name", StringType, true) ::
    StructField("Age", StringType, true) ::
    StructField("country", StringType, true) :: Nil)
val df2 = df.withColumn("details_Struct", from_json($"details_Json", struct)).withColumn("country", $"details_Struct".getField("country")).filter($"country".equalTo("Denmark")).drop("country", "details_Struct")

df2.show
+---+--------------------+
| ID|        details_Json|
+---+--------------------+
|  1|{"name":"Anne","A...|
|  4|{"name":"Mona","A...|
+---+--------------------+

Ответ выше есть в Apache Spark 2.3.1. Какую версию вы используете? В версии 2.4.1 есть функция schema_of_json, которая автоматически выводит схему. Вы можете также проверить это. https://spark.apache.org/docs/latest/api/scala/index.html#org.apache.spark.sql.functions$@schema_of_json(json:String):org.apache.spark.sql.Column