Pyspark. Как извлечь значение datetime из однострочного фрейма данных?

Question

У меня есть искровой фрейм данных, и я пытаюсь получить значение для следующего использования.

max_dttm = spark.sql("""select max(issue_dttm) from psycho_sb.yso_sendsay_im_issues""")

Это выглядит так:

+-------------------+
|    max(issue_dttm)|
+-------------------+
|2018-12-25 09:01:30|
+-------------------+

Как я могу извлечь это значение в формате timestamp / datetime? Я хочу присвоить его переменной.

Answer 1

Примерно так:

max_dttm = spark.sql("""select max(issue_dttm) as max_issue_dttm from psycho_sb.yso_sendsay_im_issues""")
max_issue_dttm = max_dttm.collect()[0].max_issue_dttm