Сгладить файл паркета с вложенными массивами и StructType Spark Scala - PullRequest
Новая
       27

Сгладить файл паркета с вложенными массивами и StructType Spark Scala

0 голосов
/ 20 марта 2019

Я стремлюсь эффективно сгладить файл паркета в Spark с помощью Scala.Мне было интересно, какой эффективный способ добиться этого.

Файл паркета содержит несколько вложений Array и Struct Type на нескольких уровнях глубины.Схема файла паркета может измениться в будущем, поэтому я не могу жестко закодировать какие-либо атрибуты.Желаемый конечный результат - это сплющенный файл с разделителями.

Будет ли решение с использованием плоской карты и рекурсивно взрывающейся работой?

Пример схемы: 

|-- exCar: array (nullable = true)
 |    |-- element: struct (containsNull = true)
 |    |    |-- exCarOne: string (nullable = true)
 |    |    |-- exCarTwo: string (nullable = true)
 |    |    |-- exCarThree: string (nullable = true)
 |-- exProduct: string (nullable = true)
 |-- exName: array (nullable = true)
 |    |-- element: struct (containsNull = true)
 |    |    |-- exNameOne: string (nullable = true)
 |    |    |-- exNameTwo: string (nullable = true)
 |    |    |-- exNameThree: string (nullable = true)
 |    |    |-- exNameFour: string (nullable = true)
 |    |    |-- exNameCode: array (nullable = true)
 |    |    |    |-- element: struct (containsNull = true)
 |    |    |    |    |-- exNameCodeOne: string (nullable = true)
 |    |    |    |    |-- exNameCodeTwo: string (nullable = true)
 |    |    |-- exColor: array (nullable = true)
 |    |    |    |-- element: struct (containsNull = true)
 |    |    |    |    |-- exColorOne: string (nullable = true)
 |    |    |    |    |-- exColorTwo: string (nullable = true)
 |    |    |    |    |-- exWheelColor: array (nullable = true)
 |    |    |    |    |    |-- element: struct (containsNull = true)
 |    |    |    |    |    |    |-- exWheelColorOne: string (nullable = true)
 |    |    |    |    |    |    |-- exWheelColorTwo: string (nullable = true)
 |    |    |    |    |    |    |--exWheelColorThree: string (nullable =true)
 |    |    |-- exGlass: string (nullable = true)
 |-- exDetails: array (nullable = true)
 |    |-- element: struct (containsNull = true)
 |    |    |-- exBill: string (nullable = true)
 |    |    |-- exAccount: string (nullable = true)
 |    |    |-- exLoan: string (nullable = true)
 |    |    |-- exRate: string (nullable = true)

Желаемая схема вывода: 

 exCar.exCarOne
 exCar.exCarTwo
 exCar.exCarThree
 exProduct
 exName.exNameOne
 exName.exNameTwo
 exName.exNameThree
 exName.exNameFour
 exName.exNameCode.exNameCodeOne
 exName.exNameCode.exNameCodeTwo
 exName.exColor.exColorOne
 exName.exColor.exColorTwo
 exName.exColor.exWheelColor.exWheelColorOne
 exName.exColor.exWheelColor.exWheelColorTwo
 exName.exColor.exWheelColor.exWheelColorThree
 exName.exGlass
 exDetails.exBill
 exDetails.exAccount
 exDetails.exLoan
 exDetails.exRate

1 Ответ

0 голосов
/ 25 марта 2019

Необходимо сделать 2 вещи:

1) Разбить столбцы массивов из самых внешних вложенных массивов на лежащие внутри: взорвать exName (получая множество строк с помощью json, которыесодержит exColor), затем exColor, который вы затем взорвете, предоставляя вам доступ к exWheelColor и т. д.

2) Проецируйте вложенный json в отдельный столбец.

...