Spark Scala для selectExpr выдает исключение ----------------------------------------------------------------------- ^^^
в org.apache.spark. sql.catalyst.parser.ParseException.withCommand (ParseDriver.scala: 239)
Я создаю динамические столбцы с приведением типов для полей Struct, поскольку
s+ """"cast("""+field._1)+" as "+field._2+""")","""
field._1 является текущими field._2 для нового поля.
Я напечатал то же самое и применил к набору данных в оболочке искры, отливка работает отлично. Но из программы выдает ошибку
Мой ожидаемый результат -
val fields= "cast(field1 as field_1)","cast( filed2 as field_2)"
Затем примените это
df.selectExpr(fields)
Любая помощь или руководство очень ценится.