Как добавить TimeZone в столбец Spark TimestampType? - PullRequest
Новая
       20

Как добавить TimeZone в столбец Spark TimestampType?

0 голосов
/ 18 апреля 2020

У меня есть DataFrame со столбцом TimestampType, я читаю данные вручную, затем строю DataFrame. Во входных данных исходный столбец DateTime содержит информацию о часовом поясе, например, 2011-11-04T00:05:23+04:00 Теперь, когда я прочитал данные в столбце Spark Timestamp, я понял, что часовой пояс исчез!

Вот как я строю схему для мой DataFrame 

var fields = ...
fields = fields :+ StructField("timestamp", TimestampType, false)
val schema StructType(fields)

И как я анализирую даты в java. sql .Timestamp 

val date = new Timestamp(x)

В итоге я добавил отдельный столбец, который содержит TimeZone , но есть ли лучший вариант (кроме как сделать столбец StringType и сериализовать исходную дату)?

...