Дополнительные настройки для Spark CSV Writer - PullRequest
0 голосов
/ 30 октября 2019

Есть ли хороший способ применить дополнительные настройки к CSV-устройству записи Spark для числового формата и формата даты / времени?

Предположим, я хочу указать числовой формат для десятичных чисел;Один из способов сделать это - заменить поля в DataFrame на строки непосредственно перед вызовом df.write:

 val df2 = df.schema.fields.foldLeft(df) {
      (accumDf, field) => field.dataType match {
        case i: DecimalType => accumDf.withColumn(field.name, custom_formatter(accumDf.col(field.name)))
        case _ => accumDf
      }
    }

, но было бы лучше, если бы существовал стандартный / встроенный способ сделать что-то вродеэто.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...