У меня есть столбец в CSV-файле с предоставленным форматом
"[{\"xx\":\"yy\"},{\"zz\": \"rrr\"}]"
Мне нужно прочитать его в Spark SQL, чтобы я мог запросить, используя colname.xx, что дает yy
Вот что я попробовал:
df.withColumn("colname", from_json($"colname", schema))
df.selectExpr("split(substring()))
но это не работает.