как создать новый фрейм данных со схемой, сгенерированной из_ json значений столбцов, созданных путем поворота столбца - PullRequest
Новая
       154

как создать новый фрейм данных со схемой, сгенерированной из_ json значений столбцов, созданных путем поворота столбца

0 голосов
/ 06 августа 2020

У меня есть фрейм данных со следующей схемой. 

root
 |-- id: string (nullable = true)
 |-- type: string (nullable = true)
 |-- key: string (nullable = true)
 |-- value: string (nullable = true)

Сначала он вращается по столбцу «значение». 

val pivot_df = df.groupBy("id","key").pivot("type").agg(first("value"))

Данные столбца «значение» могут содержать вложенные json. Раньше я преобразовывал весь столбец «значение», чтобы получить требуемую схему. новые сгенерированные столбцы. Может кто-нибудь подсказать, какие изменения кода следует применить?

...