Я хочу записать фрейм данных как json фрейм данных в pyspark, реплицируя этот способ записи json из pandas:
df.to_json(orient='columns')
, тогда я получил
'{"col 1":{"row 1":"a","row 2":"c"},"col 2":{"row 1":"b","row 2":"d"}}'
Но когда я использую это в AWS КЛЕЙ
df.write.mode('overwrite').json(path)
, я получил этот формат:
df.to_json(orient='records')
'[{"col 1":"a","col 2":"b"},{"col 1":"c","col 2":"d"
Я узнал о параметрах json в pyspark и есть не ориентирован на установку формата json