Преобразование Date_format добавляет 1 год к датам границы - PullRequest
Новая
       51

Преобразование Date_format добавляет 1 год к датам границы

0 голосов
/ 02 февраля 2019

Когда я использую DATE_FORMAT для 31 декабря, 2018 год меняется на 2019. Может ли кто-нибудь помочь, если это ошибка или я что-то упустил. 

import org.apache.spark.sql.functions._

spark.sql("select CAST(1546268400 AS TIMESTAMP)").show(false)

Выход: 2018-12-31 15: 00: 00,0

spark.sql("select DATE_FORMAT(CAST(1546268400 AS TIMESTAMP), 'MM/dd/YYYY HH:mm')").show(false)

Вывод: 12/31 / 2019 15: 00

1 Ответ

0 голосов
/ 02 февраля 2019

Spark shell Results

Так что это не точно ответ на ваш вопрос, но использование YYYY против yyyy кажется здесь решающим.На самом деле все еще ведется расследование, но это может помочь вам выяснить это.

Обновление: https://github.com/davedelong/calendar_fallacies/issues/26

Различие между YYYY и yyyy - это год ISO_Week и календарный год.

...