Как перевести секунды из времени эпохи в время UTC в Pyspark?

Question

Скажем, у меня есть фрейм данных с именем эпохи столбцов, которое составляет секунды от времени эпохи, и я хотел преобразовать его во время UTC. Как это сделать в Pyspark?

Я не хочу кодировать «GMT-7» и хочу убедиться, что я использую правильное смещение для времени, GMT-7 или GMT-8, исходя из летнего времени. Я использую Spark 2.1

myDF = myDF.withColumn("epoch_tmst",(myDF.epoch.cast(dataType=TimestampType()))
myDF = myDF.withColumn("epoch_tmst_utc",to_utc_timestamp(myDF.epoch_tmst,"GMT-7"))

Answer 1

Нет способа конвертировать unixtime в метку времени UTC напрямую методом pyspark.
(Вы можете сделать unix-> GMT-7 и GMT-7-> UTC отдельно с помощью pyspark, но, похоже, это не то, что вам нужно)

Как насчет того, чтобы один раз взять их в буквальную строку и использовать модуль времени Python? https://docs.python.org/3/library/time.html#time.gmtime