Есть ли хороший способ применить дополнительные настройки к CSV-устройству записи Spark для числового формата и формата даты / времени?
Предположим, я хочу указать числовой формат для десятичных чисел;Один из способов сделать это - заменить поля в DataFrame на строки непосредственно перед вызовом df.write
:
val df2 = df.schema.fields.foldLeft(df) {
(accumDf, field) => field.dataType match {
case i: DecimalType => accumDf.withColumn(field.name, custom_formatter(accumDf.col(field.name)))
case _ => accumDf
}
}
, но было бы лучше, если бы существовал стандартный / встроенный способ сделать что-то вродеэто.