Преобразование JSON в CSV с помощью блоков данных Azure

Question

Я новичок в Azure Databricks, поэтому мне трудно импортировать данные JSON и преобразовывать их в CSV с помощью Azure Databricks даже после прочтения документации.

После преобразования JSON в CSV мне нужно объединить его с другими данными CSV, имеющими взаимный столбец.

Любая помощь будет очень признательна. Спасибо

Answer 1

Вы хотите присоединиться к общей колонке? Если это так, вы можете сделать что-то вроде этого:

dfjson = spark.read.json(/path/to/json)
dfcsv = spark.read.csv(/path/to/csv)
dfCombined = dfjson.join(dfcsv, dfjson.mutualCol == dfcsv.mutualCol, joinType)

dfCombined.save.format(someFormat).write(/path/to/output)