Pyspark sql добавить букву в значении datetype

Question

У меня есть значения времени эпохи в кадре данных Spark, например 1569872588019, и я использую pyspark sql в блокноте jupyter.

Я использую метод from_unixtime для преобразования его в дату.

Вот мой код:

SELECT from_unixtime(dataepochvalues/1000,'yyyy-MM-dd%%HH:MM:ss') AS date FROM testdata

Результат выглядит так: 2019-04-30%%11:09:11

Но я хочу вот что: 2019-04-30T11:04:48.366Z

Я пыталсядобавить T и Z вместо %% в дате, но не удалось.

Как я могу вставить T и Z букву?

Answer 1

Вы можете указать эти буквы, используя одинарные кавычки. Для желаемого результата используйте следующий шаблон даты и времени:

"yyyy-MM-dd'T'HH:mm:ss.SSS'Z'"

Используя ваш пример:

spark.sql(
    """SELECT from_unixtime(1569872588019/1000,"yyyy-MM-dd'T'HH:MM:ss'Z'") AS date"""
).show()
#+--------------------+
#|                date|
#+--------------------+
#|2019-09-30T14:09:08Z|
#+--------------------+