У меня есть фрейм данных, показанный ниже в «Текущем фрейме данных» после потоковой передачи из EventHub, и мне потребуется преобразовать его в «Ожидаемые результаты» с помощью Spark Scala.Столбцы ABS, ALT должны быть внутри Array (Struct (SN, ST, SV)) и должен быть внешний столбец, называемый EVENTS.
Любая помощь будет принята с благодарностью.
Текущий кадр данных:
df.printSchema
root
|-- VIN: string (nullable = true)
|-- TT: string (nullable = true)
|-- MSG_TYPE: string (nullable = true)
|-- ABS: string (nullable = true)
|-- ALT: string (nullable = true)
VIN TT MSG_TYPE ABS ALT
354476053749713 1 SIGNAL [{"ST":1569573366000,"SV":0.0},{"ST":1569573387000,"SV":0.0}]
[{"ST":1569573399000,"SV":0.0}]
Ожидаемые результаты: