Динамический ArrayType в искровой CSV - PullRequest
Новая
       10

Динамический ArrayType в искровой CSV

0 голосов
/ 07 ноября 2019

У меня есть CSV, для которого мне нужно создать df, который имеет столбец ArrayType, проблема в том, что значения внутри этого столбца являются динамическими, зависит от значения второго столбца. Как решить эту проблему в спарк?

Спасибо!

CSV: 

john,2,english,pass,chemisty,pass,second
sameer,1,english,pass,first

Я хочу эту схему: 

 |-- name: String(nullable = true)
  |-- score: array (nullable = true)
  |    |-- element: struct (containsNull = true)
  |    |    |-- subject: string(nullable = false)
  |    |    |-- result: string(nullable = false)
 |-- class: String(nullable = true)
...