Обработка данных на свечах с использованием java

Question

У меня есть DataSet.

+-------------------+
|     Date          |
+-------------------+
|1970-01-01 06:00:00|
+-------------------+

Я хочу взять только час и минуту. Столбец Дата находится на отметке времени. Я попробовал следующий код:

       String format = "HH:mm";
       df.withColumn("hour:minute",unix_timestamp(col("Date"),format)).show(100);

Но у меня не работает.

Спасибо.

Answer 1

unix_timestamp преобразует метку времени в эпоху / unix время .

• Используйте либо date_format, from_unixtime(unix_timestamp()) функции для извлечения hour:minute.

Пример:

df.withColumn("hour:minute",date_format(col("Date"),"HH:mm")).show()
df.withColumn("hour:minute",from_unixtime(unix_timestamp(col("Date"),"yyyy-MM-dd HH:mm:ss"),"HH:mm")).show()

//+-------------------+-----------+
//|               Date|hour:minute|
//+-------------------+-----------+
//|1970-01-01 06:00:00|      06:00|
//+-------------------+-----------+