Разобрать столбец Spark Dataframe, чтобы получить массив структур

Question

У меня есть фрейм данных, показанный ниже в «Текущем фрейме данных» после потоковой передачи из EventHub, и мне потребуется преобразовать его в «Ожидаемые результаты» с помощью Spark Scala.Столбцы ABS, ALT должны быть внутри Array (Struct (SN, ST, SV)) и должен быть внешний столбец, называемый EVENTS.

Любая помощь будет принята с благодарностью.

Текущий кадр данных:

  df.printSchema 
  root
  |-- VIN: string (nullable = true)
  |-- TT: string (nullable = true)
  |-- MSG_TYPE: string (nullable = true)
  |-- ABS: string (nullable = true)
  |-- ALT: string (nullable = true)


VIN             TT  MSG_TYPE    ABS                                                          ALT
354476053749713 1   SIGNAL      [{"ST":1569573366000,"SV":0.0},{"ST":1569573387000,"SV":0.0}] 
[{"ST":1569573399000,"SV":0.0}]

Ожидаемые результаты: