Как сгенерировать часовые метки времени между двумя датами в PySpark? - PullRequest
Новая
       10

Как сгенерировать часовые метки времени между двумя датами в PySpark?

0 голосов
/ 07 октября 2019

Рассмотрим этот примерный фрейм данных 

data = [(dt.datetime(2000,1,1,15,20,37), dt.datetime(2000,1,1,19,12,22))]
df = spark.createDataFrame(data, ["minDate", "maxDate"])
df.show()
+-------------------+-------------------+
|            minDate|            maxDate|
+-------------------+-------------------+
|2000-01-01 15:20:37|2000-01-01 19:12:22|
+-------------------+-------------------+

Я хотел бы разбить эти две даты на часовые временные ряды, например 

+-------------------+-------------------+
|            minDate|            maxDate|
+-------------------+-------------------+
|2000-01-01 15:20:37|2000-01-01 16:00:00|
|2000-01-01 16:01:00|2000-01-01 17:00:00|
|2000-01-01 17:01:00|2000-01-01 18:00:00|
|2000-01-01 18:01:00|2000-01-01 19:00:00|
|2000-01-01 19:01:00|2000-01-01 19:12:22|
+-------------------+-------------------+

Есть ли у вас какие-либо предложения о том, как этого добиться? без использования UDF?

Спасибо

...