Конвертировать дважды в дату с помощью SparkR

Question

Когда дата представляет собой строковую функцию SparkR to_date правильно преобразовывает ее в формат даты, но если она двойная, это не так.

Кроме того, зоопарк пакета R работает.

library(zoo)

df <- tibble::tibble(date = 17000.0)

as.Date(df$date)

# [1] "2016-07-18"

Однако SparkR не

df_spark <- as.DataFrame(df)
df_spark <- df_spark %>% 
  SparkR::mutate(date2 = to_date(df_spark$date, "MM/dd/yyyy"))

# org.apache.spark.sql.AnalysisException: cannot resolve 'unix_timestamp(`date`, 'MM/dd/yyyy')' due to data type mismatch: argument 1 requires (string or date or timestamp) type, however, '`date`' is of double type.

Мне нужно решение SparkR, чтобы конвертировать double в дату.Пожалуйста, помогите.

Answer 1

Если значение следует интерпретировать как дни с начала эпохи, вы должны использовать date_add:

df_spark %>% 
  SparkR::mutate(date2 = expr("date_add(to_date('1970-01-01'), date)")) %>% 
  head()

   date      date2                                                              
1 17000 2016-07-18

Базовая арифметика также должна работать:

df_spark %>% 
  SparkR::mutate(
    date2 = to_date(cast(column("date") * 60 * 60 * 24, "timestamp"))) %>% 
  head()

   date      date2
1 17000 2016-07-18